[論文レビュー] A Benchmark for Temporal Color Constancy

Yanlin Qian, Jani Käpylä+3 more|arXiv (Cornell University)|Mar 8, 2020

Color Science and Applications参考文献 34被引用数 4

ひとこと要約

本稿では、600本の高解像度ビデオシーケンスを含む、実世界の時間的色温度補正データセットTCC-benchmarkを紹介するとともに、優れた照照明推定を実現するためのマルチフレーム時間的情報を活用する2D-LSTMベースの深層学習モデルTCC-Netを提案する。TCC-Netは、先行手法と比較してTCC-benchmarkでは平均角誤差を40%、SFU Gray Ballでは30%低減する最先端の性能を達成した。

ABSTRACT

Temporal Color Constancy (CC) is a recently proposed approach that challenges the conventional single-frame color constancy. The conventional approach is to use a single frame - shot frame - to estimate the scene illumination color. In temporal CC, multiple frames from the view finder sequence are used to estimate the color. However, there are no realistic large scale temporal color constancy datasets for method evaluation. In this work, a new temporal CC benchmark is introduced. The benchmark comprises of (1) 600 real-world sequences recorded with a high-resolution mobile phone camera, (2) a fixed train-test split which ensures consistent evaluation, and (3) a baseline method which achieves high accuracy in the new benchmark and the dataset used in previous works. Results for more than 20 well-known color constancy methods including the recent state-of-the-arts are reported in our experiments.

研究の動機と目的

• ベンチマーク用に大規模かつ現実的である時間的色温度補正データセットが不足している問題に対処すること。
• 固定されたトレイン・テスト分割を用いて、20種類以上の単一フレームおよび時間的色温度補正手法の性能を評価すること。
• 既存手法を上回る強力で効率的なベースラインモデル（TCC-Net）を提案し、新規および既存のベンチマークで優れた性能を発揮すること。
• 公開されたデータセットとコードを通じて、時間的色温度補正手法の公平で再現可能な評価を可能にすること。
• 2D-LSTM、SqueezeNetバックボーン、可変長入力シーケンスといったアーキテクチャ設計の選択が最適なパフォーマンスをもたらすかどうかを検討すること。

提案手法

• TCC-benchmarkは、高解像度のモバイルフォンで撮影された600本の実世界のビデオシーケンスから構成され、さまざまな屋内・屋外のシーン、天候および日差しの変化をカバーしている。
• 固定されたトレイン・テスト分割により、すべての手法における一貫性のある評価が保証され、シーケンス長は3～17フレームの範囲である。
• TCC-Netは二重ブランチアーキテクチャを採用している。一方のブランチはショットフレームをSqueezeNetで処理して特徴抽出を行い、もう一方のブランチは直前のフレームの擬似シーケンスを2D-LSTMで処理して空間的・時間的依存関係をモデル化する。
• 2D-LSTMモジュールは、2次元特徴マップに対して畳み込み再帰を適用することで、空間的および時間的相関を捉える。最適なトレードオフを得るため、カーネルサイズK=5、隠れ次元H=128を採用した。
• モデルはエンドツーエンドで訓練され、真値ラベルに対する平均角誤差を最小化するように、照照明の色度を予測する。
• 可変長入力シーケンスに対応できるため、シーケンス長が事前に不明な実世界のビューファインダー環境への導入が可能である。

実験結果

リサーチクエスチョン

• RQ1 現実的で大規模なベンチマーク上で、時間的色温度補正手法は単一フレーム手法に比べてどの程度優れているか？
• RQ2 時間的色温度補正において、1D-LSTM対2D-LSTM、バックボーンネットワーク、シーケンス長といったアーキテクチャ的要素が、最良のパフォーマンスをもたらすか？
• RQ3 軽量でモバイルフレンドリーなモデルが、時間的色温度補正において最先端の精度を達成できるか？
• RQ4 提案されたTCC-Netは、以前に使用されたSFU Gray Ballデータセットを含め、さまざまなデータセットに一般化できるか？
• RQ5 2D-LSTMが学習する空間的・時間的特徴は、単一フレームや1D-LSTMベースラインと比較して、照照明推定をどの程度向上させるか？

主な発見

• TCC-NetはTCC-benchmarkで平均角誤差1.46°を達成し、最良の単一フレーム手法と比較して40%、最良の先行時間的手法と比較して27%の改善を示した。
• 2D-LSTMを搭載したTCC-Net（モデルG）が最良のパフォーマンスを発揮し、1D-LSTMや他の構成を上回った。平均角誤差は1.46°、メモリフットプリントは68.8 MBであった。
• SqueezeNetをバックボーンとして使用することで、メモリフットプリントを6.6 MB（モデルC）にまで低減しながらも高い精度を維持でき、モバイルデプロイメントに適していた。
• 擬似シーケンスブランチを備えた二重ブランチアーキテクチャは、単一ブランチ設計と比較して平均誤差を12.7%改善した。
• 2D-LSTMの最適なカーネルサイズはK=5、最適な隠れ次元はH=128であり、これはアンダーフィッティングとオーバーフィッティングの両方のバランスを取るのに適していた。
• TCC-Netは良好な一般化性能を示し、SFU Gray Ballデータセットにおいて、最良の単一フレーム手法と比較して33%低い平均角誤差、最良の時間的手法と比較して30%低い誤差を達成した。