[논문 리뷰] Sensor-Independent Illumination Estimation for DNN Models

Mahmoud Afifi, Michael S. Brown|arXiv (Cornell University)|2019. 12. 14.

Color Science and Applications참고 문헌 42인용 수 39

한 줄 요약

이 논문은 카메라 독립적인 조도 추정 프레임워크를 제안하며, 카메라-무관 작업 공간을 학습하여 한 개의 DNN으로 보지 않은 센서들에서도 센서별 재훈련 없이 장면의 조명을 추정할 수 있도록 한다.

ABSTRACT

While modern deep neural networks (DNNs) achieve state-of-the-art results for illuminant estimation, it is currently necessary to train a separate DNN for each type of camera sensor. This means when a camera manufacturer uses a new sensor, it is necessary to retrain an existing DNN model with training images captured by the new sensor. This paper addresses this problem by introducing a novel sensor-independent illuminant estimation framework. Our method learns a sensor-independent working space that can be used to canonicalize the RGB values of any arbitrary camera sensor. Our learned space retains the linear property of the original sensor raw-RGB space and allows unseen camera sensors to be used on a single DNN model trained on this working space. We demonstrate the effectiveness of this approach on several different camera sensors and show it provides performance on par with state-of-the-art methods that were trained per sensor.

연구 동기 및 목표

• 각 카메라 센서마다 DNN을 재훈련해야 하는 필요성에 대응한다.
• 원시 RGB 데이터의 선형성을 보존하는 센서 독립 작업 공간을 학습한다.
• 보지 못한 센서를 하나의 학습 공간에서 학습된 DNN으로 사용할 수 있도록 한다.
• 다양한 데이터셋에서 일반화와 경쟁력 있는 성능을 보여준다.

제안 방법

• 센서 매핑 네트워크와 조도 추정 네트워크의 이중 네트워크 구조를 엔드-투-엔드로 학습한다.
• 입력 원시 RGB를 센서 독립 공간으로 매핑하는 3x3 행렬 M을 학습한다; 이 공간에서의 조도는 M^{-1}를 통해 입력 공간으로 다시 변환된다.
• 입력 특징으로 색상 분포를 캡처하기 위해 두 개의 학습 가능한 매개변수를 갖는 RGB-uv 히스토그램 블록을 사용한다.
• 센서 매핑 네트워크는 M으로 재구성된 3x3 행렬 V를 출력하고, 가역성과 안정성을 보장하도록 정규화한다.
• 조도 추정 네트워크는 학습된 공간에서 매핑된 조도 1_m을 출력한다; 최종 조도 1은 M^{-1}를 1_m에 적용하여 회복한다.
• 훈련은 얼라인드 앵글러 오차 손실과 실제 센서 공간에서의 회복된 조도 사이의 차이를 사용하는 Adam으로 수행한다.

실험 결과

연구 질문

• RQ1 센서 독립 프레임워크가 센서별 재훈련 없이도 다양한 센서 간의 조도를 추정할 수 있는가?
• RQ2 학습된 센서 독립 공간은 보지 못한 카메라 센서에 얼마나 일반화되는가?
• RQ3 제안한 방법이 표준 데이터셋에서 센서별 및 다른 센서 독립 접근법과 비교하여 어떤 성능을 보이는가?
• RQ4 RGB-uv 히스토그램 특징과 학습된 매핑이 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 여러 데이터셋에서 경쟁력 있는 각도 오차 성능을 달성하며, 센서별 최첨단 방법에 근접한다.
• 보지 못한 카메라 센서에 대해 강한 일반화를 보여주며, 많은 통계적 기법 및 몇몇 학습 기반 베이스라인을 능가한다.
• 프레임워크는 센서별 미세 조정 없이 다양한 센서의 이미지를 활용해 단일 모델을 학습시킬 수 있다.
• NUS 8-Cameras, Gehler-Shi, Cube, Cube+, 및 INTEL-TUT 데이터셋 전반에 걸친 실험 결과는 강건한 센서 간 성능을 보여준다.