[논문 리뷰] Light Weight Residual Dense Attention Net for Spectral Reconstruction from RGB Images

D. Sabari Nathan, K Uma외 3명|arXiv (Cornell University)|2020. 04. 15.

Color Science and Applications참고 문헌 22인용 수 13

한 줄 요약

이 논문은 고광镨도 영상 복원을 위해 RGB 입력에서 작동하는 경량 잔차 밀집 주의망을 제안한다. 모델은 총 233,059개의 파라미터를 사용하며, NTIRE 2020 데이터셋에서 상태최고 수준의 MRAE 0.0457을 달성하면서도 낮은 계산 비용을 유도한다. 좌표 기반 합성곱 블록, 이중 특징 추출(밀집 및 다중 척도 계층적), 그리고 전역 특징 융합을 통합하여 성능을 향상시켰다.

ABSTRACT

Hyperspectral Imaging is the acquisition of spectral and spatial information of a particular scene. Capturing such information from a specialized hyperspectral camera remains costly. Reconstructing such information from the RGB image achieves a better solution in both classification and object recognition tasks. This work proposes a novel light weight network with very less number of parameters about 233,059 parameters based on Residual dense model with attention mechanism to obtain this solution. This network uses Coordination Convolutional Block to get the spatial information. The weights from this block are shared by two independent feature extraction mechanisms, one by dense feature extraction and the other by the multiscale hierarchical feature extraction. Finally, the features from both the feature extraction mechanisms are globally fused to produce the 31 spectral bands. The network is trained with NTIRE 2020 challenge dataset and thus achieved 0.0457 MRAE metric value with less computational complexity.

연구 동기 및 목표

• 고광镨도 영상 촬영의 높은 비용 문제를 해결하기 위해 표준 RGB 영상에서 스펙트럼 복원을 가능하게 하기 위해.
• 실제 구현을 위해 높은 복원 정확도를 유지하면서 모델 복잡도를 줄이기 위해.
• 밀집 및 다중 척도 계층적 특징 추출을 통합하여 특징 표현을 향상시키기 위해.
• 공유 가중치를 가진 좌표 기반 합성곱 블록을 통해 공간 및 스펙트럼 정보 학습을 향상시키기 위해.
• 최소한의 파라미터와 낮은 계산 오버헤드로 높은 성능을 달성하기 위해.

제안 방법

• 모델은 공간적 특징을 추출하기 위해 공유 가중치를 가진 두 개의 병렬 특징 추출 경로를 가진 좌표 기반 합성곱 블록을 사용한다.
• 한 경로는 밀집 잔차 연결을 사용하여 특징 재사용과 기울기 흐름을 촉진한다.
• 두 번째 경로는 다중 척도 계층적 특징 추출을 적용하여 다양한 척도에서의 맥락 정보를 캡처한다.
• 양쪽 경로의 특징는 전역 융합되어 RGB 입력에서 31개의 스펙트럼 대역으로 복원된다.
• 융합 과정에서 정보가 많은 특징을 동적으로 강조하기 위해 주의 메커니즘을 통합한다.
• 모델는 NTIRE 2020 챌린지 데이터셋을 사용하여 평균 상대 절대 오차(MRAE) 손실을 기반으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 최소한의 파라미터로 고해상도 스펙트럼 복원을 달성할 수 있는 경량 딥러닝 모델이 존재하는가?
• RQ2 밀집 및 다중 척도 계층적 특징 추출의 조합이 스펙트럼 복원 정확도 향상에 얼마나 효과적인가?
• RQ3 공유 가중치를 가진 좌표 기반 합성곱 블록이 파라미터 공유를 통해 공간적 특징 학습을 얼마나 향상시키는가?
• RQ4 주의 메커니즘이 저파라미터 스펙트럼 복원 네트워크의 특징 융합을 향상시키는가?
• RQ5 이 작업에서 모델 복잡도와 복원 성능 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 네트워크는 NTIRE 2020 데이터셋에서 평균 상대 절대 오차(MRAE) 0.0457을 기록하여 최신 기술 수준의 성능을 입증하였다.
• 모델는 총 233,059개의 파라미터를 가지며, 기존 방법 대비 계산 복잡도를 크게 감소시켰다.
• 좌표 기반 합성곱 블록은 이중 특징 추출 경로 간 공유 가중치를 통해 효과적인 공간적 특징 학습을 가능하게 하였다.
• 밀집 및 다중 척도 계층적 특징의 융합은 스펙트럼 및 공간 정보의 표현을 향상시켰다.
• 주의 메커니즘의 통합은 재구성 과정에서 관련 특징에 집중할 수 있는 능력을 모델에 향상시켰다.
• 모델는 뛰어난 일반화 능력과 효율성을 보이며, 자원 제약 환경에서의 실생활 구현에 적합하다.