[논문 리뷰] Quaternion Convolutional Neural Networks for Heterogeneous Image Processing

Titouan Parcollet, Mohamed Morchid외 1명|arXiv (Cornell University)|2018. 10. 31.

Neural Networks and Applications참고 문헌 26인용 수 104

한 줄 요약

본 논문은 쿼터니언 값의 컨볼루셔널 인코더-디코더(QCAE)가 단일 흑백 이미지에서 색상 의존성을 완벽하게 학습하고, 실수값 CAE보다 색상 재구성에서 우수하며 매개변수 수가 훨씬 적다는 것을 보여준다.

ABSTRACT

Convolutional neural networks (CNN) have recently achieved state-of-the-art results in various applications. In the case of image recognition, an ideal model has to learn independently of the training data, both local dependencies between the three components (R,G,B) of a pixel, and the global relations describing edges or shapes, making it efficient with small or heterogeneous datasets. Quaternion-valued convolutional neural networks (QCNN) solved this problematic by introducing multidimensional algebra to CNN. This paper proposes to explore the fundamental reason of the success of QCNN over CNN, by investigating the impact of the Hamilton product on a color image reconstruction task performed from a gray-scale only training. By learning independently both internal and external relations and with less parameters than real valued convolutional encoder-decoder (CAE), quaternion convolutional encoder-decoders (QCAE) perfectly reconstructed unseen color images while CAE produced worst and gray-scale versions.

연구 동기 및 목표

• Hamilton 곱을 통해 QCNN이 색상 이미지의 학습과 표현을 왜 개선하는지 조사한다.
• 쿼터니언 값 네트워크가 그레이스케일 학습으로 내부 픽셀 색상 관계(R,G,B)를 학습할 수 있음을 시연한다.
• 흑백에서 컬러 재구성에 대한 쿼터니언 값 인코더-디코더의 성능을 실수값 대비와 비교한다.
• 이종 데이터 조건에서 재구성 품질 및 모델 효율성(매개변수 수)의 이득을 정량화한다.

제안 방법

• 동일한 토폴로지를 가진 쿼터니언 값 컨볼루셔널 인코더-디코더(QCAE)와 실수값 컨볼루셔널 인코더-디코더(CAE)를 사용한다.
• QCAE의 흑백 쿼터니언을 만들고 CAE의 흑백 채널을 형성하여 Kodak PhotoCD 데이터셋의 단일 흑백 이미지로 훈련한다.
• 본 적 없는 컬러 이미지에 대해 색상 공간을 재구성하고 원래 컬러 이미지와 비교하여 검증한다.
• PSNR 및 SSIM 지표로 재구성을 평가하고 Hamilton 곱을 통한 내부 대 외부 특징 학습을 분석한다.
• Quaternions 연산을 실수 행렬과 분할 활성화 함수로 표현하고 Hamilton 곱(Q1 ⊗ Q2)으로 정의된 컨볼루션으로 표현한다.
• 매개변수 효율성에 주목: QCAE는 층당 출력이 네 배 더 많지만 전체적으로 ~6.4k 매개변수로, CAE는 ~25k에 비해 더 작다.

실험 결과

연구 질문

• RQ1 실수-valued 네트워크가 불가능한 흑백 학습에서 쿼터니언 값 네트워크가 RGB 색상 의존성을 학습할 수 있는가?
• RQ2 Hamilton 곱이 이종 이미지 처리에서 내부(픽셀 내) 의존성과 전역(픽셀 간) 의존성을 더 잘 분리하게 하는가?
• RQ3 쿼터니언 인코더-디코더가 실수값 인코더-디코더에 비해 더 적은 매개변수로 우수한 재구성 품질을 제공하는가?
• RQ4 PSNR 및 SSIM 지표가 흑백에서 컬러 재구성 작업에서 QCAE의 색상 학습 능력을 CAE와 비교하여 어떻게 반영하는가?

주요 결과

• QCAE는 흑백 학습으로부터 색상 이미지를 거의 완벽하게 재구성하는 반면, CAE는 흑백(블랙-앤-화이트) 결과를 출력한다.
• QCAE는 두 테스트 이미지에서 PSNR이 31.68 dB 및 28.06 dB를 달성하는 반면, CAE는 PSNR이 29.95 dB 및 27.01 dB이다.
• QCAE SSIM 점수는 0.96 및 0.93이고, 같은 테스트에서 CAE 점수는 0.87 및 0.86이다.
• 쿼터니언 매개변수화와 Hamilton 곱으로 인해 QCAE는 대략 6.4k 매개변수를 사용하고, CAE는 약 25k 매개변수로 비교된다.
• 결과는 쿼터니언 표현이 내부 및 글로벌 의존성을 더 효과적으로 분리하여 이종 데이터에서도 강력한 학습을 가능하게 함을 지지한다.