[論文レビュー] Single and Multiple Illuminant Estimation Using Convolutional Neural Networks

Simone Bianco, Claudio Cusano+1 more|arXiv (Cornell University)|Aug 5, 2015

Color Science and Applications被引用数 5

ひとこと要約

本稿では、RAW画像における単一および複数の照光源の推定にCNNベースの手法を提案する。単一の照光源が検出された場合には、局所的なCNN出力を非線形SVRベースの回帰器を用いて集約する。このアプローチは、単一および複数の照光源データセットの両方で最先端の性能を達成し、既存の汎用的手法よりも角誤差で優れており、非一様な照明にも適応可能である。

ABSTRACT

In this paper we present a method for the estimation of the color of the illuminant in RAW images. The method includes a Convolutional Neural Network that has been specially designed to produce multiple local estimates. A multiple illuminant detector determines whether or not the local outputs of the network must be aggregated into a single estimate. We evaluated our method on standard datasets with single and multiple illuminants, obtaining lower estimation errors with respect to those obtained by other general purpose methods in the state of the art.

研究の動機と目的

• 一様および非一様な照照明条件下でも正確な照光源推定を達成すること。
• 単一のエンドツーエンド学習プロセスで単一および複数の照光源を統合的に処理できるフレームワークを構築すること。
• 局所的特徴学習と適応的グローバル集約を統合することで、既存の汎用的手法を改善すること。
• 実世界および合成データセットにおいて、既知の真値照光源を備えた環境でも頑健な性能を発揮すること。
• 今後の改善のため、顔や物体などのセマンティックヒントの統合を検討すること。

提案手法

• 240個の学習可能な1×1畳み込みフィルタを用いて色空間の量子化を実現する、画像パッチ上で訓練されたカスタムCNNにより、空間的に変化する局所的照光源推定値を出力する。
• 局所的推定値は、訓練セットにおける中央値角誤差を最小化するように学習された、RBFカーネルを用いた非線形サポートベクタ回帰（SVR）モデルによりグローバル推定値に集約される。
• 局所的予測の分布に基づいて、局所的推定値かグローバル推定値を使用するかを判断する、カーネル密度推定（KDE）に基づく複数照光源検出器を採用する。
• エッジ、ハイライト、肌色、緑地などのセマンティック特徴を検出できるよう、40ニューロンの全結合層をネットワークアーキテクチャに組み込む。
• 真値照光源を備えたRAW画像上で教師あり学習を実施することで、エンドツーエンドの特徴学習と回帰が可能になる。
• フレームワークは適応的設計である：照照明の一様性を検出し、局所的処理のみか局所からグローバルへの処理に切り替える。

実験結果

リサーチクエスチョン

• RQ1 単一および複数の照光源シーンの両方において、画像パッチ上で信頼性の高い局所的照光源推定値を出力できるように、深層CNNを効果的に訓練できるか？
• RQ2 単一の照光源が存在する場合、局所的照光源推定値をどのように最適にグローバル推定値に集約できるか？
• RQ3 KDEベースの検出器は、局所的推定値の分布に基づいて、単一照光源と複数照光源のシーンを信頼性高く区別できるか？
• RQ4 提案手法は、単一および複数の照光源を含む標準データセットにおいて、既存の汎用的照光源推定技術を上回る性能を示すか？
• RQ5 学習されたセマンティック特徴（例：ハイライト、肌色、緑地）は、照光源推定精度の向上にどの程度寄与するか？

主な発見

• 提案手法は、標準的な単一照光源データセットにおいて、最先端の汎用的手法よりも低い角誤差を達成した。
• 合成された複数照光源データセットでは、既存のすべての汎用的局所的照光源推定技術を上回った。
• 実世界の複数照光源データセットでは、顔検出を明示的に活用する手法を除き、競争力のある性能を示した。
• CNNの全結合層のニューロンは、エッジ（ニューロン#8）、ハイライト（ニューロン#17）、空（ニューロン#22）、肌色（ニューロン#27）、緑地（ニューロン#38）といった意味のあるシーン要因を検出している。
• 1×1畳み込み層は、類似色に対して冗長ではあるが安定した応答を示すため、RGB色空間にほぼ均等なカバーを提供している。
• 非線形SVRに基づく局所からグローバルへの回帰器は、先行研究で用いられたチャンネルごとの中央値演算子と比較して、グローバル推定の正確性を顕著に向上させた。