[논문 리뷰] AdaptiveWeighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images

Jiaojiao Li, Chaoxiong Wu외 3명|arXiv (Cornell University)|2020. 05. 19.

Advanced Image Fusion Techniques참고 문헌 33인용 수 13

한 줄 요약

이 논문은 카메라 스펙트럼 민감도(CSS) 사전 지식과 새로운 주의 메커니즘을 통합하여 RGB 이미지에서 스펙트럼 복원을 위한 적응형 가중 주의 네트워크(AWAN)를 제안한다. 이중 잔차 학습, 적응형 가중 채널 주의(AWCA), 그리고 패치 수준의 두 번째 순서 비국소 모듈을 활용하여 특징 표현과 복원 정확도를 향상시켰으며, NTIRE 2020 "클린" 트랙에서 1등, "리얼 월드" 트랙에서 3등을 기록했다.

ABSTRACT

Recent promising effort for spectral reconstruction (SR) focuses on learning a complicated mapping through using a deeper and wider convolutional neural networks (CNNs). Nevertheless, most CNN-based SR algorithms neglect to explore the camera spectral sensitivity (CSS) prior and interdependencies among intermediate features, thus limiting the representation ability of the network and performance of SR. To conquer these issues, we propose a novel adaptive weighted attention network (AWAN) for SR, whose backbone is stacked with multiple dual residual attention blocks (DRAB) decorating with long and short skip connections to form the dual residual learning. Concretely, we investigate an adaptive weighted channel attention (AWCA) module to reallocate channel-wise feature responses via integrating correlations between channels. Furthermore, a patch-level second-order non-local (PSNL) module is developed to capture long-range spatial contextual information by second-order non-local operations for more powerful feature representations. Based on the fact that the recovered RGB images can be projected by the reconstructed hyperspectral image (HSI) and the given CSS function, we incorporate the discrepancies of the RGB images and HSIs as a finer constraint for more accurate reconstruction. Experimental results demonstrate the effectiveness of our proposed AWAN network in terms of quantitative comparison and perceptual quality over other state-of-the-art SR methods. In the NTIRE 2020 Spectral Reconstruction Challenge, our entries obtain the 1st ranking on the Clean track and the 3rd place on the Real World track. Codes are available at https://github.com/Deep-imagelab/AWAN.

연구 동기 및 목표

• RGB 이미지에서의 스펙트럼 복원 문제의 불안정성 문제를 도메인 특화 사전 지식을 통합하여 해결하고자 한다.
• 중간 특징에서 장거리 공간적 및 채널 간 의존성을 모델링하여 특징 표현을 향상시키고자 한다.
• 카메라 스펙트럼 민감도(CSS) 사전 지식을 세밀한 제약 조건으로 통합하여 복원 정확도를 향상시키고자 한다.
• 기존의 CNN 기반 방법보다 정량적 지표와 시각적 품질 측면에서 모두 뛰어난 딥 러닝 아키텍처를 개발하고자 한다.
• 특히 도전적인 리얼 월드 환경에서 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하고자 한다.

제안 방법

• AWAN의 기반은 장거리 및 단거리 스케일 커넥션을 갖춘 다중 이중 잔차 주의 블록(DRABs)으로 구성되어 있어 이중 잔차 학습을 가능하게 하고 저주파 정보를 유지한다.
• 적응형 가중 채널 주의(AWCA) 모듈은 고정 풀링 대신 적응형 가중 통계를 사용하여 채널 간 특징 반응을 재조정한다.
• 패치 수준의 두 번째 순서 비국소(PSNL) 모듈은 특징 패치 간의 두 번째 순서 통계를 계산하여 장거리 공간적 맥락을 포착한다.
• 카메라 스펙트럼 민감도(CSS) 사전 지식은 알려진 CSS 함수를 통해 생성된 RGB 이미지와 재구성된 HSI 간의 일관성을 강제하여 통합된다.
• 스펙트럼 정확도를 향상시키기 위해 MRAE 손실과 CSS 기반 복원 손실을 조합한 다중 손실 학습 전략이 사용된다.
• 모델 앙상블 및 자기 앙상블 기법을 적용하여 테스트 세트에서 성능을 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 카메라 스펙트럼 민감도(CSS) 사전 지식을 통합하면 RGB 이미지에서의 스펙트럼 복원 정확도가 향상되는가?
• RQ2 표준 주의 메커니즘에 비해 적응형 가중 채널 주의(AWCA)는 채널 간 의존성을 얼마나 효과적으로 모델링하는가?
• RQ3 패치 수준의 두 번째 순서 비국소(PSNL) 모듈은 스펙트럼 복원에서 장거리 공간적 특징 표현을 얼마나 향상시키는가?
• RQ4 제안된 AWAN 아키텍처는 정량적 지표와 시각적 품질 측면에서 기존 최신 기술 수준의 방법들을 초월하는가?
• RQ5 CSS 사전 지식과 다중 손실 학습의 조합은 리얼 월드 스펙트럼 복원 시나리오에서 얼마나 높은 강인성을 제공하는가?

주요 결과

• 제안된 AWAN은 NTIRE 2020 스펙트럼 복원 챌린지의 "클린" 트랙에서 1등을 기록하여 모든 참가자들을 압도했다.
• "리얼 월드" 트랙에서 AWAN은 3등을 기록했으며, 평균 상대 절대 오차(MRAE)는 1.59106×10⁻⁴로, 1위 메서드보다 1.59106×10⁻⁴ 높았다.
• AWCA 모듈은 기준 네트워크 대비 "클린" 트랙에서 MRAE를 5.0% 감소시켰고, "리얼 월드" 트랙에서는 2.2% 감소시켰다.
• 결합 손실 함수를 통한 CSS 사전 지식 통합은 추론 정확도 향상에 명백한 기여를 하였으며, 분석 결과에서 MRAE가 3.5% 감소한 것으로 확인되었다.
• PSNL 모듈은 특징 표현을 크게 향상시켜 AWCA와 조합했을 때 성능 향상에 기여하였다.
• 시각적 결과 및 스펙트럼 응답 곡선은 AWAN이 경쟁 방법들보다 더 정확하고 시각적으로 충실한 고스펙트럼 재구성을 생성함을 확인했다.