[논문 리뷰] HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging

Xiaowan Hu, Yuanhao Cai외 6명|arXiv (Cornell University)|2022. 03. 04.

Photoacoustic and Ultrasonic Imaging인용 수 12

한 줄 요약

HDNet는 압축 측정값에서 고분해능 이중도메인 학습 프레임워크를 제안하여 고분해능 히퍼스pek트럴 이미지(HSI) 복원을 수행한다. 이는 세밀한 픽셀 수준의 공간-스펙트럼 주의 메커니즘과 동적 주파수 도메인 손실을 결합하여 시각적 불일치를 감소시킨다. 공간-스펙트럼 및 주파수 도메인의 정합성을 공동 최적화함으로써 시뮬레이션 및 실제 데이터셋에서 모두 최신 기술 수준의 성능을 달성하며, 시각적 품질과 정량적 지표가 크게 향상된다.

ABSTRACT

The rapid development of deep learning provides a better solution for the end-to-end reconstruction of hyperspectral image (HSI). However, existing learning-based methods have two major defects. Firstly, networks with self-attention usually sacrifice internal resolution to balance model performance against complexity, losing fine-grained high-resolution (HR) features. Secondly, even if the optimization focusing on spatial-spectral domain learning (SDL) converges to the ideal solution, there is still a significant visual difference between the reconstructed HSI and the truth. Therefore, we propose a high-resolution dual-domain learning network (HDNet) for HSI reconstruction. On the one hand, the proposed HR spatial-spectral attention module with its efficient feature fusion provides continuous and fine pixel-level features. On the other hand, frequency domain learning (FDL) is introduced for HSI reconstruction to narrow the frequency domain discrepancy. Dynamic FDL supervision forces the model to reconstruct fine-grained frequencies and compensate for excessive smoothing and distortion caused by pixel-level losses. The HR pixel-level attention and frequency-level refinement in our HDNet mutually promote HSI perceptual quality. Extensive quantitative and qualitative evaluation experiments show that our method achieves SOTA performance on simulated and real HSI datasets. Code and models will be released at https://github.com/caiyuanhao1998/MST

연구 동기 및 목표

• 픽셀 수준의 손실이 저주파 성분을 선호함으로써 발생하는 딥러닝 기반 HSI 복원에서의 시각적 품질 격차를 해소하기 위해.
• 자기주의 주의 메커니즘에서의 해상도 상충로 인해 고해상도 스펙트럼-공간 세부 정보를 유지하는 데 한계가 있는 기존 방법의 한계를 극복하기 위해.
• 낮은 픽셀 수준의 복원 성능에도 불구하고 시각적 아티팩트를 유발하는 복원된 HSI와 진짜 HSI 간의 주파수 도메인 불일치를 감소시키기 위해.
• 공간-스펙트럼 및 주파수 도메인 표현을 공동 최적화하는 보완적인 이중도메인 학습 메커니즘을 개발하여 HSI 복원 품질을 향상시키기 위해.
• 해상상도 및 주파수 정합성의 공동 최적화를 통해 시뮬레이션 및 실제 HSI 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 자기주의 주의 연산에서 차원 감소를 방지함으로써 세밀한 해상도의 고해상도(HR) 공간-스펙트럼 주의 모듈을 도입하여 고해상도 특징을 유지한다.
• 해상도 손실 없이 HR 공간 및 스펙트럼 주의 특징을 융합하기 위한 효율적 특징 융합( EFF ) 메커니즘을 구현한다.
• 복원된 HSI와 진짜 HSI의 이산 푸리에 변환(DFT)을 적용하여 주파수 도메인 표현을 계산하고, 이를 감독으로 활용한다.
• 학습 가능한 계수 α를 가진 동적 주파수 수준 손실(FDL)을 설계하여 고주파 성분에서의 과소적합을 적응적으로 보상함으로써 세밀한 무늬의 복원을 향상시킨다.
• 패치 기반 주파수 스펙트럼 계산(p=3)을 적용하여 局부 주파수 표현을 정밀화하고 주파수 감독에서의 전반적 편향을 방지한다.
• 픽셀 수준의 복원 손실과 주파수 도메인 손실을 결합한 다중 손실 목적함수로 엔드 투 엔드 학습을 수행하며, α=2를 선택하여 SSIM, PSNR, LFD 간의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 표준 자기주의 주의 메커니즘에 비해 고해상도 공간-스펙트럼 주의가 HSI 복원에서 세밀한 스펙트럼-공간 세부 정보의 유지에 얼마나 기여하는가?
• RQ2 동적 주파수 도메인 감독은 특히 고주파 성분에서 복원된 HSI 스펙트럼과 진짜 HSI 스펙트럼 간의 불일치를 어느 정도 감소시키는가?
• RQ3 공간-스펙트럼 및 주파수 도메인에서의 공동 최적화가 픽셀 수준의 복원 지표를 넘어서 시각적 품질을 향상시키는 방식은 어떠한가?
• RQ4 제안된 이중도메인 학습 프레임워크는 진짜 레이블이 없는 실제 HSI 데이터셋에 대해서도 일반화 가능한가?
• RQ5 주파수 도메인 페널티 강도와 복원 품질 사이의 최적 균형은 무엇이며, 이는 시각적 및 정량적 성능에 어떤 영향을 미치는가?

주요 결과

• CAVE 데이터셋에서 HDNet는 비교된 방법들 중에서 최고의 PSNR(34.34)와 SSIM(0.9572)를 기록했으며, α=2일 때 LFD가 13.3238 감소하여 뚜렷한 향상을 보였다.
• 실제 HSI 데이터에서 HDNet는 진짜 레이블이 없음에도 불구하고 TSA-Net과 DGSMP에 비해 더 선명한 고주파 무늬와 더 적은 왜곡을 보이며 뛰어난 시각적 결과를 생성했다.
• 주파수 거리 계수 α=2는 PSNR, SSIM, LFD 간의 최적 균형을 이룩하여 α=1과 α=3보다 더 뛰어난 시각적 품질과 주파수 정합성을 확보했다.
• 패치 기반 주파수 분석(p=3)은 최적의 주파수 표현 및 정밀화를 달성했으며, p>3일 경우 국소적 편향에 과적합되어 성능 저하가 발생했다.
• 시각적 비교 결과, HDNet는 주파수 공간에서 진짜 스펙트럼에 가장 가까운 복원 스펙트럼을 생성하여 체크무늬 패atters 및 스펙트럼 이탈과 같은 아티팩트를 최소화했다.
• HR 공간-스펙트럼 주의와 동적 FDL 감독의 조합은 상호 보완적 강화 효과를 나타내었으며, 개선된 해상도가 더 나은 주파수 정렬을 지원하고 반대로 주파수 정합성이 더 높은 해상도 복원을 가능케 했다.