[論文レビュー] Sensor-Independent Illumination Estimation for DNN Models

Mahmoud Afifi, Michael S. Brown|arXiv (Cornell University)|Dec 14, 2019

Color Science and Applications参考文献 42被引用数 39

ひとこと要約

本論文は、センサーに依存しない照明推定フレームワークを提案し、カメラ非依存のワークスペースを学習させ、未見センサーに対してもセンサごとの再学習なしに単一のDNNでシーンのイルミナントを推定できる。

ABSTRACT

While modern deep neural networks (DNNs) achieve state-of-the-art results for illuminant estimation, it is currently necessary to train a separate DNN for each type of camera sensor. This means when a camera manufacturer uses a new sensor, it is necessary to retrain an existing DNN model with training images captured by the new sensor. This paper addresses this problem by introducing a novel sensor-independent illuminant estimation framework. Our method learns a sensor-independent working space that can be used to canonicalize the RGB values of any arbitrary camera sensor. Our learned space retains the linear property of the original sensor raw-RGB space and allows unseen camera sensors to be used on a single DNN model trained on this working space. We demonstrate the effectiveness of this approach on several different camera sensors and show it provides performance on par with state-of-the-art methods that were trained per sensor.

研究の動機と目的

• 照明推定において、各カメラセンサーごとにDNNを再学習する必要があるという課題に対処する。
• 生デ RGB データの線形性を保つセンサ非依存の作動空間を学習する。
• 学習済み空間で訓練された単一のDNNを用いて、未見のセンサーを使用可能にする。
• 複数データセットにおける一般化と競争力のある性能を示す。

提案手法

• Two-network architecture: a sensor mapping network and an illuminant estimation network, trained end-to-end.
• Learn a 3x3 matrix M that maps input raw-RGB to a sensor-independent space; the illuminant in this space is transformed back to the input space via M^{-1}.
• Employ an RGB-uv histogram block with two learnable parameters to capture color distribution as input features.
• Sensor mapping network outputs a 3x3 matrix V reshaped into M, normalized to ensure invertibility and stability.
• Illuminant estimation network outputs the mapped illuminant \u00131_m in the learned space; the final illuminant \u00131 is recovered by applying M^{-1} to \u00131_m.
• Training uses Adam with an angular error loss between the ground-truth illuminant and the recovered illuminant in the original sensor space.

実験結果

リサーチクエスチョン

• RQ1 センサ-independent フレームワークは、個別センサーごとの再学習なしに多様なセンサー間で照明を推定できるか。
• RQ2 学習されたセンサー非依存空間は、未見のカメラセンサーにどの程度一般化するか。
• RQ3 提案手法は、標準データセット上でセンサー特異的手法や他のセンサー非依存手法とどう比較されるか。
• RQ4 RGB-uv ヒストグラム特徴と学習済みマッピングが推定精度に与える影響は何か。

主な発見

• 本手法は複数のデータセットで競争力のある角度誤差性能を達成し、最先端のセンサー特異的手法に近づく。
• 未見のカメラセンサーへ対する強い一般化を示し、多くの統計的手法やいくつかの学習ベースのベースラインを上回る。
• 多様なセンサーの画像を活用して、センサー特異的なファインチューニングなしに単一モデルを訓練できる。
• NUS 8-Cameras、Gehler-Shi、Cube、Cube+、INTEL-TUTデータセットにおける実験結果は、堅牢なクロスセンサーパフォーマンスを示す。