[논문 리뷰] A block-based inter-band predictor using multilayer propagation neural network for hyperspectral image compression

Rui Dusselaar, Manoranjan Paul|arXiv (Cornell University)|2019. 02. 12.

Image and Signal Denoising Methods참고 문헌 31인용 수 6

한 줄 요약

이 논문은 고분광 영상 압축을 위한 다층 퍼셉트론 신경망(MLPNN)을 사용하는 블록 기반 상하좌우 예측기(BIP)를 제안한다. 현재 밴드 데이터로부터 다음 스펙트럼 밴드를 예측하도록 MLPNN을 훈련시켜, 오직 네트워크 가중치와 편향만을 인코딩함으로써 비트 레이트를 크게 감소시킨다. 이는 CCSDS-123보다 2.0 dB 이상의 PSNR 향상을 이끌어내며, 0.1 bppb 이하의 비트 레이트에서도 30–40 dB의 PSNR를 유지한다.

ABSTRACT

In this paper, a block-based inter-band predictor (BIP) with multilayer propagation neural network model (MLPNN) is presented by a completely new framework. This predictor can combine with diversity entropy coding methods. Hyperspectral (HS) images are composed by a series high similarity spectral bands. Our assumption is to use trained MLPNN predict the succeeding bands based on current band information. The purpose is to explore whether BIP-MLPNN can provide better image predictive results with high efficiency. The algorithm also changed from the traditional compression methods encoding images pixel by pixel, the compression process only encodes the weights and the biases vectors of BIP-MLPNN which require few bits to transfer. The decoder will reconstruct a band by using the same structure of the network at the encoder side. The BIP-MLPNN decoder does not need to be trained as the weights and biases have already been transmitted. We can easily reconstruct the succeeding bands by using the BIP-MLPNN decoder. The experimental results indicate that BIP-MLPNN predictor outperforms the CCSDS-123 HS image coding standard. Due to a good approximation of the target band, the proposed method outperforms the CCSDS-123 by more than 2.0dB PSNR image quality in the predicted bands. Moreover, the proposed method provides high quality image e.g., 30 to 40dB PSNR at very low bit rate (less than 0.1 bpppb) and outperforms the existing methods e.g., JPEG, 3DSPECK, 3DSPIHT and in terms of rate-distortion performance.

연구 동기 및 목표

• 밴드 간 스펙트럼 상관관계를 활용하여 효율적인 고분광 영상 압축의 필요성을 해결한다.
• 고차원 스펙트럼 데이터에 대해 계산 비용이 높고 효과가 떨어지는 전통적인 픽셀 단위 압축 방법의 한계를 극복한다.
• 예측 잔차가 아닌 모델 파ameter만을 인코딩하여 비트 레이트를 감소시키는 신경망 기반 예측기를 개발한다.
• 기존 표준(예: CCSDS-123)과 JPEG 기반 방법에 비해 뛰어난 비율-왜곡 성능을 달성한다.
• 원격 탐사 및 영상 응용 분야에서 실용적으로 구현 가능한, 특히 0.1 bpppb 이하의 매우 낮은 비트 레이트에서도 고품질 복원을 가능하게 한다.

제안 방법

• 공간 블록으로 고분광 영상을 분할하여 국소적 상하좌우 예측을 가능하게 한다.
• 현재 밴드를 입력으로 사용하여 다층 퍼셉트론 신경망(MLPNN)을 훈련시어 다음 밴드의 스펙트럼 반응을 예측한다.
• 예측 잔차 대신 훈련된 MLPNN의 가중치와 편향만을 인코딩함으로써 최소한의 비트 수요를 충족시킨다.
• 디코더 측에서도 동일한 MLPNN 아키텍처를 사용하여 전송된 가중치와 편향를 활용해 밴드를 재구성함으로써 재훈련이 필요 없도록 한다.
• 압축 효율을 추가로 향상시키기 위해 BIP-MLPNN 예측기를 다양성 엔트로피 코딩 기법과 통합한다.
• 블록 단위로 예측을 적용하여 병렬 처리와 다양한 공간 해상도에서의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 MLPNN를 사용하는 학습 기반 상하좌우 예측기가 기존의 상하좌우 예측 방법보다 고분광 영상 압축에서 뛰어난 성능을 보일 수 있는가?
• RQ2 예측 잔차 대신 네트워크 파ameter만을 인코딩함으로써 BIP-MLPNN가 비트 레이트를 얼마나 줄일 수 있는가?
• RQ3 낮은 비트 레이트에서 BIP-MLPNN는 CCSDS-123 표준 대비 PSNR 및 비율-왜곡 효율에서 어떤 성능을 보이는가?
• RQ4 제안된 방법은 0.1 bpppb 이하의 비트 레이트에서도 높은 복원 품질(예: 30–40 dB PSNR)을 유지할 수 있는가?
• RQ5 에코더와 디코더 측에서 공통된 MLPNN 아키텍처를 사용함으로써 재훈련 없이도 효율적이고 저복잡도의 디코딩을 가능하게 하는가?

주요 결과

• BIP-MLPNN 예측기는 예측된 밴드에서 CCSDS-123 표준보다 2.0 dB 이상 높은 PSNR를 달성하여 영상 품질 향상이著명하다.
• 0.1 bppb 이하의 비트 레이트에서도 높은 복원 품질을 유지하며, PSNR 값은 30에서 40 dB 사이를 유지한다.
• 비율-왜곡 성능 측면에서 JPEG, 3DSPECK, 3DSPIHT와 같은 기존의 압축 기법들보다 뛰어나다.
• MLPNN의 가중치와 편향만을 인코딩함으로써 데이터 전송 비용을 크게 감소시켜 효율적인 전송과 저장을 가능하게 한다.
• 디코더는 동일한 네트워크 구조와 전송된 파ameter를 사용하여 밴드를 재구성하므로 재훈련이 필요 없으며, 저복잡도의 디코딩을 보장한다.
• 블록 기반 설계는 국소적 예측과 병렬 처리를 가능하게 하여 확장성과 계산 효율성을 향상시킨다.