[논문 리뷰] MXR-U-Nets for Real Time Hyperspectral Reconstruction

Atmadeep Banerjee, Akash Palrecha|arXiv (Cornell University)|2020. 04. 15.

Advanced Data Compression Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 MXResNet 인코더를 사용하여 RGB 입력에서 고해상도 고분광 영상을 복원하는 U-Net 기반의 CNN 아키텍처인 MXR-U-Net을 제안한다. 이는 Mish 활성화 함수를 적용한 MXResNet을 사용하며, 디코더에 서브픽셀 컨볼루션, 블러 레이어, 그리고 자기주의 모듈을 통합한다. 주요 기여는 깊이가 깊은 모델 대비 성능 저하가 0.5%에 불과한 가벼운 MXResNet18 변종을 통해 실시간 추론(이미지당 0.037초)을 가능하게 한 것이다.

ABSTRACT

In recent times, CNNs have made significant contributions to applications in image generation, super-resolution and style transfer. In this paper, we build upon the work of Howard and Gugger, He et al. and Misra, D. and propose a CNN architecture that accurately reconstructs hyperspectral images from their RGB counterparts. We also propose a much shallower version of our best model with a 10% relative memory footprint and 3x faster inference, thus enabling real-time video applications while still experiencing only about a 0.5% decrease in performance.

연구 동기 및 목표

• 고분광 영상 촬영 하드웨어의 높은 비용으로 인해 RGB 입력에서 고분광 영상을 복원하는 데 도전하는 문제를 해결하기 위해.
• 최근 영상 생성 및 초해상도 기술의 발전을 통합하여 기존의 CNN 기반 스펙트럼 복원 방법을 향상시키기 위해.
• 영상 응용 분야에 적합한 경량화된 실시간 추론이 가능한 모델을 개발하면서도 높은 복원 정확도를 유지하기 위해.
• 자기주의, 블러 레이어, 인코더 깊이와 같은 아키텍처 구성 요소가 성능과 추론 속도에 미치는 영향을 조사하기 위해.

제안 방법

• 네 단계의 다운샘플링 단계에서 인코더와 디코더 사이에 스킵 커넥션을 가지는 U-Net 인코더-디코더 아키텍처를 채택한다.
• ReLU를 Mish 활성화 함수로 대체하여 개선된 기울기 흐름을 확보하기 위해 MXResNet 백본(XResNet)을 인코더로 사용한다.
• 디코더에서 더 효율적이고 학습 가능한 업샘플링을 위해 디컨볼루션 대신 서브픽셀 컨볼루션 레이어를 구현한다.
• 생성된 영상에서 체스보드 아티팩트를 줄이기 위해 2x2 평균 풀링(스트라이드 1)을 사용하는 블러 레이어를 도입한다.
• 두 번째 디코더 블록 이후에 자기주의 모듈을 통합하여 세밀한 공간적 세부 정보에 집중하도록 한다.
• 다양한 중간 레이어의 특징을 조합한 인지적 손실을 사용하여 추론을 수행함으로써 MSE나 PSNR를 초월한 인지적 품질 향상을 이룬다.

실험 결과

연구 질문

• RQ1 자기주의, 블러 레이어, 서브픽셀 컨볼루션과 같은 아키텍처 구성 요소가 복원된 고분광 영상의 인지적 품질과 정량적 품질에 어떤 영향을 미치는가?
• RQ2 복원 정확도를 유지하면서 모델 깊이(예: MXResNet18 대비 MXResNet50)와 추론 속도 사이의 상호 교환 관계는 어떠한가?
• RQ3 MXResNet18과 같은 浅층 인코더가 메모리 소비와 추론 시간을 크게 줄이고도 거의 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 MSE 손실 대비 인지적 손실이 스펙트럼 복원에서 인지적으로 중요한 영상 세부 정보를 어떻게 더 잘 유지하는가?
• RQ5 ImageNet에서의 사전학습이 RGB에서 고분광 영상 복원 성능에 어떤 영향을 미치는가?

주요 결과

• 자기주의와 블러 레이어를 통합한 MXResNet50 기반 MXR-U-Net은 클리어 트랙에서 MRAE 0.045434, 리얼월드 트랙에서 0.083993을 기록하여 최저 성능을 달성했다.
• MXResNet18 기반 모델은 이미지당 0.037초의 추론 시간을 기록하여 실시간 영상 응용에 적합하다.
• MXResNet50 모델 대비 파라미터 수가 10%에 불과한(31.35M 대비 342.07M) MXResNet18 변종은 클리어 트랙에서 MRAE가 0.006655 증가하고 리얼월드 트랙에서 0.004596 증가하는 데 그쳤다.
• 인지적 손실을 사용함으로써 MSE 손실 대비 시각적 아티팩트가著 감소한 것으로 확인되었으며, 리얼월드 검증 이미지의 정성적 비교에서 이를 확인할 수 있었다.
• ImageNet에서의 사전학습은 성능을 약간 떨어뜨렸으며, 이는 이 작업에 대해 무작위 초기화에서의 미세조정이 더 효과적일 수 있음을 시사한다.
• 자기주의와 블러 레이어를 추가함으로써 복원 품질이 향상되었으며, 특히 자기주의 모듈이 세밀한 세부 사항 복원에 기여했다.