[논문 리뷰] 3D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising

Kaixuan Wei, Ying Fu외 1명|arXiv (Cornell University)|2020. 03. 10.

Image and Signal Denoising Methods참고 문헌 49인용 수 5

한 줄 요약

이 논문은 3D 순환 신경망(QRNN3D)을 제안하여 고분광 영상(HSI) 노이즈 제거를 위해 3D 컨볼루션을 통한 구조적 시공간 스펙트럼 상관관계와 준순환 풀링 함수를 통한 전반적 스펙트럼 상관관계(GCS)를 동시에 모델링한다. 교차 방향 구조는 추가 계산 없이 인과적 종속성을 제거하여 다양한 노이즈 유형과 스펙트럼 차원에서 최신 기술 수준의 성능을 달성하며, 재학습 없이 ICVL 데이터에서 학습한 모델을 원격 감시 데이터로 직접 이식할 수 있다.

ABSTRACT

In this paper, we propose an alternating directional 3D quasi-recurrent neural network for hyperspectral image (HSI) denoising, which can effectively embed the domain knowledge -- structural spatio-spectral correlation and global correlation along spectrum. Specifically, 3D convolution is utilized to extract structural spatio-spectral correlation in an HSI, while a quasi-recurrent pooling function is employed to capture the global correlation along spectrum. Moreover, alternating directional structure is introduced to eliminate the causal dependency with no additional computation cost. The proposed model is capable of modeling spatio-spectral dependency while preserving the flexibility towards HSIs with arbitrary number of bands. Extensive experiments on HSI denoising demonstrate significant improvement over state-of-the-arts under various noise settings, in terms of both restoration accuracy and computation time. Our code is available at https://github.com/Vandermode/QRNN3D.

연구 동기 및 목표

• 기존 HSI 노이즈 제거 방법이 수작업으로 설계된 사전 지식이나 2D 컨볼루션에 의존함에 따라灵活性 또는 모델링 능력이 흐트러지는 문제를 해결하기 위해.
• 통합된 3D 딥 러닝 프레임워크 내에서 구조적 시공간 스펙트럼 상관관계와 스펙트럼 방향 전반적 상관관계(GCS)를 동시에 모델링하기 위해.
• 표준 RNN의 단방향 인과적 종속성을 HSI 모델링에서 제거하면서 계산 비용을 증가시키지 않기 위해.
• 임의의 스펙트럼 차원을 가진 HSI에 대해 일반화할 수 있도록 하여, 재학습 없이도 새로운 센서의 데이터에 직접 적용할 수 있도록 하기 위해.
• 복잡한 실제 노이즈 환경에서 높은 복원 정확도와 낮은 추론 시간을 달성하기 위해.

제안 방법

• 핵심 구성 요소는 3D 컨볼루션을 통해 국소적 시공간 스펙트럼 특징을 추출하고, 준순환 풀링 기능을 통해 전반적 스펙트럼 상관관계를 모델링하는 3D 준순환 유닛(QRU3D)이다.
• 준순환 풀링은 입력 특징에 기반해 동적으로 게이팅 메커니즘을 적용하여 풀링 가중치를 적응적으로 계산함으로써, 모든 스펙트럼 대역에서 GCS를 효과적으로 포착할 수 있다.
• 교차 방향 구조를 도입하여 스펙트럼을 정방향과 역방향 모두에서 처리함으로써 인과적 종속성을 제거하였으며, 추가 계산 비용 없이도 이를 달성하였다.
• 엔코더-디코더 아키텍처를 사용한 네트워크 설계로, QRU3D 블록을 통합하여 HSI 노이즈 제거를 위한 엔드 투 엔드 학습이 가능하도록 하였다.
• 모델은 복원 손실을 사용하여 엔드 투 엔드로 학습되며, GCS 메커니즘은 프로베니우스 노름 기반 기여도 분석을 통해 시각화된다.
• 모델은 스펙트럼 차원에 대해 무관하므로, 알려지지 않은 또는 다양한 수의 파장 대역을 가진 HSI에 직접 추론이 가능하다.

실험 결과

연구 질문

• RQ1 3D 딥 러닝 아키텍처가 고분광 영상에서 국소적 시공간 스펙트럼 상관관계와 전반적 스펙트럼 상관관계(GCS)를 동시에 효과적으로 모델링할 수 있는가?
• RQ2 HSI 노이즈 제거에서 순환 모델링의 인과적 종속성을 계산 비용 증가 없이 어떻게 제거할 수 있는가?
• RQ3 학습된 적응형 GCS 모델링 메커니즘이 낮은 질서 텐서와 같은 고정된 수작업 사전 지식보다 HSI 노이즈 제거에서 더 우수한 성능을 낼 수 있는가?
• RQ4 ICVL 데이터셋에서 사전 학습한 모델이 스펙트럼 특성이 다른 실제 원격 감시 데이터에 대해 얼마나 일반화될 수 있는가?
• RQ5 제안된 교차 방향 구조는 표준 양방향 또는 단방향 RNN에 비해 HSI 작업에서 성능과 유연성 면에서 향상되는가?

주요 결과

• QRNN3D는 ICVL를 포함한 여러 벤치마크 데이터셋에서 가우시안 노이즈 및 복잡한 노이즈 환경 모두에서 최신 기술 수준의 성능을 달성하였다.
• 모델은 PSNR 측면에서 최첨단 기법들을 능가하였으며, 표 VII에 따르면 가우시안 노이즈(σ=50) 조건에서 ICVL에서 40.23 dB의 PSNR를 기록하였다.
• 교차 방향 구조는 추가 계산 비용 없이 이방향 컨텍스트 모델링을 가능하게 하여 표준 이방향 RNN보다 더 효율적이다.
• 모델은 잘 일반화되어 있다: ICVL에서 사전 학습한 QRNN3D는 재학습 없이도 원격 감시 HSI에 직접 적용 가능하며, 이는 표준 2D CNN에서는 이룰 수 없는 능력이다.
• 시각화 결과 GCS 메커니즘이 장거리 스펙트럼 의존성을 효과적으로 포착하고 있음을 확인하였으며, 평균적으로 각 출력 파장 대역이 최소 15개 이상의 다른 파장 대역에 영향을 받고 있다.
• 절단 분석 결과 3D 컨볼루션과 준순환 풀링의 조합이 성능에 필수적이며, 각 구성 요소가 노이즈 제거 정확도에 크게 기여하고 있음을 입증하였다.