[論文レビュー] Learning Intrinsic Image Decomposition from Watching the World

Zhengqi Li, Noah Snavely|arXiv (Cornell University)|Apr 2, 2018

Advanced Vision and Imaging参考文献 32被引用数 25

ひとこと要約

本論文は、固定された視点で照明が変化するラベルなし動画シーケンスを用いて、畳み込みニューラルネットワーク（CNN）を訓練することで、内在的画像分解の自己教師付き手法を提案する。この手法は、フレーム間で一貫した反射率およびシャドーの予測を学習し、訓練中にいかなる真値分解も使用せず、IIW、SAW、MITの内在的画像ベンチマークで最先端の性能を達成する。さらに、合成データやラボベースのアノテーションを用いた教師あり手法でさえも上回る。

ABSTRACT

Single-view intrinsic image decomposition is a highly ill-posed problem, and so a promising approach is to learn from large amounts of data. However, it is difficult to collect ground truth training data at scale for intrinsic images. In this paper, we explore a different approach to learning intrinsic images: observing image sequences over time depicting the same scene under changing illumination, and learning single-view decompositions that are consistent with these changes. This approach allows us to learn without ground truth decompositions, and to instead exploit information available from multiple images when training. Our trained model can then be applied at test time to single views. We describe a new learning framework based on this idea, including new loss functions that can be efficiently evaluated over entire sequences. While prior learning-based methods achieve good performance on specific benchmarks, we show that our approach generalizes well to several diverse datasets, including MIT intrinsic images, Intrinsic Images in the Wild and Shading Annotations in the Wild.

研究の動機と目的

• 高価で限られた真値アノテーションに依存せずに、内在的画像分解を学ぶ課題に対処すること。
• 固定された視点で照明が変化する画像シーケンスの時間的整合性を、学習のための監督信号として活用すること。
• IIW、SAW、MITのような多様なデータセットに一般化できる深層学習フレームワークを開発すること。
• 明示的なアノテーションを必要としない、複数フレーム間の整合性を強制する新しいシーケンスレベルの損失関数を設計すること。
• 動画シーケンスからの自己教師学習が、完全に教師ありの手法と同等またはそれ以上の性能を発揮できることを示すこと。

提案手法

• 視点が固定され、照明が時間とともに変化するBigTime（BT）データセットのスケールの大きなラベルなし動画シーケンスを用いてCNNを訓練する。
• シーケンス内のすべての画像ペア間で反射率およびシャドーの予測の一貫性を強制する、すべてのペアの重み付き最小二乗損失を導入する。
• 予測された反射率およびシャドーにおける空間的・時間的両方向の滑らかさを強制する、密度のある空間時間的滑らかさ損失を実装する。
• シーケンスレベルの損失を訓練時の監督として使用し、反射率やシャドーの真値ラベルが一切不要な状態で、内在的画像分解を学習可能にする。
• 推論時において、訓練済みモデルを単一画像に適用し、順伝播によって内在的画像分解（R, S）を生成する。
• 画像シーケンスの時間的整合性を弱教師信号として活用し、最適化に基づく事前知識と深層学習推論フレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 照明が変化するラベルなし動画シーケンスから、真値分解が一切ない状態でも、内在的画像分解を効果的に学習できるか？
• RQ2 時間的整合性に基づく自己教師学習手法は、IIW、SAW、MITのような多様な現実世界のデータセットにどれほど一般化できるか？
• RQ3 時間軸にわたる内在的画像分解の一貫性を強制するために、どの種類のシーケンスレベル損失が最も効果的か？
• RQ4 アノテーションなしの動画で訓練されたモデルは、完全な真値を備えた合成データやラボベースのデータセットで訓練された教師ありモデルを上回れるか？
• RQ5 提案手法の性能は、標準ベンチマークにおいて最適化ベースおよび教師あり深層学習手法と比べてどうか？

主な発見

• 提案手法はIIWおよびSAWベンチマークで最先端の性能を達成し、平均精度の観点で最良の最適化ベース手法[5]をも上回った。
• MIT内在的画像データセットでは、反射率の平均二乗誤差（MSE）および構造的類似性指数（DSSIM）の観点で、DI[28] やShiら[34] といった教師ありCNNを上回ったが、シャドー推定は競争力のある水準を維持した。
• Sintel や ShapeNet で訓練されたネットワークと比較して、SAWベンチマークで顕著に優れた一般化性能を示し、現実世界のシーンへの適応性の高さを裏付けた。
• すべてのペア損失と空間時間的滑らかさ損失を組み合わせた完全な損失関数が、個々の成分を省いたバージョンよりも優れた性能を発揮した。
• モデルはデータセット間で良好に一般化し、微調整やアノテーションへのアクセスなしにIIWおよびSAWで強力な結果を得た。
• 定性的な結果では、視覚的に妥当な分解が得られたが、暗所領域でコントラストの損失が一部観察されたが、数値性能に悪影響を及げなかった。