[논문 리뷰] Deep demosaicking for multispectral filter arrays

Kazuma Shinoda, Shoichiro Yoshiba외 1명|arXiv (Cornell University)|2018. 08. 24.

Advanced Image Fusion TechniquesEngineering참고 문헌 9인용 수 20

한 줄 요약

이 논문은 이중 단계 접근 방식인 이차 보간과 잔차 신경망(ResNet) 정밀 조정을 사용한 다스펙트럴 영상에 대한 딥러닝 기반 복원 방법을 제안한다. 3D 합성곱층을 활용한 ResNet을 사용하여 CAVE 데이터셋에서 평균 PSNR 43.05 dB를 달성하였으며, 이는 이차 보간(34.58 dB)과 PPID(40.38 dB)를 크게 능가하는 성능으로, 잡음 억제 및 영상 품질 향상이 뛰어나다는 것을 보여준다.

ABSTRACT

We propose a novel demosaicking method for multispectral filter arrays based on a deep convolutional neural network. The proposed method first interpolates mosaicked multispectral images utilizing a bilinear approach, then applies a residual network to initial demosaicked images. The residual network consists of various three-dimensional convolutional layers and a rectified linear unit for describing the features of a multispectral data cube. Experimental results reveal that the proposed method outperforms conventional demosaicking methods.

연구 동기 및 목표

• RGB Bayer 패턴에 비해 높은 누락 픽셀 비율을 가지는 다스펙트럴 필터 어레이(MSFA)를 통해 촬영된 다스펙트럴 영상에서 전체 해상도 영상을 복원하는 데 도전하는 것.
• 기존 보간 방법에서 흔히 발생하는 색상 및 에지 잡음 문제를 줄이기 위해 딥러닝을 활용하여 복원 품질을 향상시키는 것.
• 이차 보간과 3D-합성곱 잔차 신경망을 조합한 새로운 이중 단계 프레임워크를 개발하여 공간 및 스펙트럼 차원에서의 특징 표현을 향상시키는 것.
• 잔차 학습과 3D 합성곱이 다스펙트럴 복원에 효과적임을 입증하며, 특히 미세한 디테일을 유지하고 재구성 오차를 감소시키는 데 기여함을 보여주는 것.

제안 방법

• 각 스펙트럼 대역에 대해 독립적으로 N×N 윈도우(N = MSFA 블록 크기 + 1)를 사용한 이차 보간을 적용하여 初기 복원 영상을 생성한다.
• 그 후, 6개의 모듈을 포함한 깊은 잔차 신경망(ResNet)을 사용하여 초기 영상을 정밀 조정한다. 각 모듈은 3D 합성곱층과 ReLU 활성화 함수를 포함한다.
• 각 ResNet 모듈은 기능 차원을 일치시키기 위해 1×1×1 합성곱을 사용한 단순 연결(shortcut connection)을 활용하여 잔차 학습을 가능하게 하고, 성능 저하 문제를 완화한다.
• 최종 레이어는 32개의 특징 맵을 하나의 잔차 맵으로 통합한 후, 초기 복원 영상에 더하여 최종 출력을 생성한다.
• 공간 및 스펙트럼 차원을 동시에 처리하는 3D 합성곱(예: 3×3×3 또는 1×1×1 커널)을 사용하여 다스펙트럴 데이터 큐브 내 국소 신호 변동을 효과적으로 포착한다.
• CAVE 데이터셋의 32幅 영상에서 8중 교차 검증을 수행하며, 메모리 및 계산 자원을 고려해 배치 크기를 8로 설정하여 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 이차 보간과 3D-ResNet을 조합한 이중 단계 딥러닝 프레임워크가 기존 방법에 비해 다스펙트럴 영상 복원 성능을 향상시키는가?
• RQ2 잔차 연결과 3D 합성곱이 다스펙트럴 영상 복원 결과에서 잡음과 PSNR 향상에 얼마나 기여하는가?
• RQ3 제안된 방법은 PSNR 및 시각적 품질 측면에서 이차 보간 및 PPI 차이(PPID) 방법과 비교해 볼 때 어떤가?
• RQ4 복원 과정에서 스펙트럼-공간 특징을 유지하는 데 있어 3D 합성곱과 2D 합성곱의 기여도는 어떠한가?
• RQ5 잔차 신경망에서 단순 연결을 제거할 경우 성능에 얼마나 민감하게 영향을 받는가?

주요 결과

• 제안된 방법은 CAVE 데이터셋에서 평균 PSNR 43.05 dB를 달성하였으며, 이는 이차 보간(34.58 dB)과 PPID(40.38 dB)보다 각각 8.47 dB와 2.67 dB 높은 성능이다.
• 이물체 왜곡과 에지 잡음이 감소한 결과, '가짜와 진짜 peppeers' 영상에서 제안된 방법의 출력에서는 글자가 명확하게 읽힐 수 있었으며, 이는 이차 보간 결과와 대비된다.
• 'clay'와 'beads' 영상에서 PPID 결과에 존재하던 에지 잡음이 제안된 방법에서 억제됨을 확인하였다.
• '가짜와 진짜 토마토' 영상에서 이차 보간 단계의 잔여 오차로 인해 색상 잡음이 지속되었으며, 이는 첫 번째 단계 전처리 향상의 필요성을 시사한다.
• 모든 단순 연결을 제거한 경우 평균 PSNR가 5.05 dB 감소하여, 잔차 학습이 성능에 결정적인 역할을 한다는 점을 입증하였다.
• 3D 합성곱을 2D 합성곱으로 대체한 경우 PSNR가 1.19 dB 감소하여, 3D 합성곱이 공간-스펙트럼 특징을 더 효과적으로 포착함을 증명하였다.