[論文レビュー] Direct Intrinsics: Learning Albedo-Shading Decomposition by Convolutional Regression

Takuya Narihira, Michael Maire+1 more|arXiv (Cornell University)|Dec 8, 2015

Advanced Neural Network Applications被引用数 23

ひとこと要約

本論文では、物理的プリオンや深度入力を用いないで、RGB画像からアルベドとシャドーを直接回帰する深層学習手法であるDirect Intrinsicsを提案する。合成MPI Sintelデータで学習された本手法は、合成画像および実画像の両方で、深度入力を利用した最先端手法でさえも上回り、複雑な照明や素材に対しても強力な汎化性能とロバストネスを示している。

ABSTRACT

We introduce a new approach to intrinsic image decomposition, the task of decomposing a single image into albedo and shading components. Our strategy, which we term direct intrinsics, is to learn a convolutional neural network (CNN) that directly predicts output albedo and shading channels from an input RGB image patch. Direct intrinsics is a departure from classical techniques for intrinsic image decomposition, which typically rely on physically-motivated priors and graph-based inference algorithms. The large-scale synthetic ground-truth of the MPI Sintel dataset plays a key role in training direct intrinsics. We demonstrate results on both the synthetic images of Sintel and the real images of the classic MIT intrinsic image dataset. On Sintel, direct intrinsics, using only RGB input, outperforms all prior work, including methods that rely on RGB+Depth input. Direct intrinsics also generalizes across modalities; it produces quite reasonable decompositions on the real images of the MIT dataset. Our results indicate that the marriage of CNNs with synthetic training data may be a powerful new technique for tackling classic problems in computer vision.

研究の動機と目的

• 従来の物理的プリオンやグラフベースの推論に依存せずに、データ駆動型の内在的画像分解アプローチを開発すること。
• 深層畳み込みニューラルネットワークによる畳み込み回帰を用いて、RGB画像パッチから直接アルベドとシャドーを予測するエンドツーエンド学習を可能にすること。
• 合成（Sintel）および実世界（MIT）のデータセットを用いて性能を評価し、ドメイン間の汎化能力を検証すること。
• 実データの微調整なしに、合成データで学習したモデルが実画像に対してロバストに性能を発揮できるかを検討すること。
• 性能向上に寄与する主なアーキテクチャ的・訓練戦略的要因（例：ドロップアウト、勾配損失、デコンボリューション）を同定すること。

提案手法

• 入力RGBパッチからアルベドとシャドーを予測するため、粗くから細かくまでを捉えるアーキテクチャを持つマルチスケール完全畳み込みニューラルネットワーク（MSCR）を用いる。
• アルベドとシャドーのL2損失に加え、エッジを保持するための勾配損失、およびアップサンプリングに学習可能なデコンボリューション層を組み合わせて訓練する。
• 一般化性能の向上と過学習の低減を目的として、ランダムクロッピングおよびカラーチャンジングによるデータ拡張を実施する。
• 正則化とロバストネス向上のため、訓練中にドロップアウトを適用する。
• 再合成Sintelデータを訓練に組み込み、アルベド推定の性能向上を図るが、Sintel特有の照明に偏りをもたらすリスクを伴う。
• 真値として3Dシーンモデルから導出されたアルベドとシャドーを備えた合成MPI Sintelデータのみを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 物理的プリオンや深度入力に依存しない、完全にデータ駆動型のエンドツーエンド深層学習アプローチが、従来の方法を上回る性能を発揮できるか？
• RQ2 合成データで学習したモデルは、複雑な照明や素材を有する実世界画像に対し、どれほど汎化できるか？
• RQ3 ドロップアウト、勾配損失、デコンボリューションなどのアーキテクチャ的・訓練的要因の中で、内在的分解タスクの性能向上に最も寄与するのはどれか？
• RQ4 訓練中に再合成Sintelデータを組み込むことで、実画像に対する性能が向上するか、それともドメイン特有のバイアスが生じるか？
• RQ5 真値が物理的分解ではなく人間の反射率判断に基づくIIWデータセットにおいて、本モデルの性能はどの程度か？

主な発見

• Sintelデータセットにおいて、MSCR+ドロップアウト+GLモデルは、RGB+深度を用いたすべての先行手法をMSEおよびLMSE指標で上回った。
• Sintelにおいて、アルベドのDSSIMは0.878、シャドーのDSSIMは0.841を達成し、DSSIMで学習していないにもかかわらず、ChenとKoltunの手法よりシャドーDSSIMで0.0145の向上を示した。
• シーンスプリット評価（出側一般化）においても、ドロップアウトやデータ拡張といった各アーキテクチャ的・訓練的改善が、性能向上をもたらした。
• MITデータのみで学習した場合、実画像に対して妥当な分解が得られ、再合成Sintelデータを訓練に混ぜ込むことで特にアルベド推定の性能が向上した。
• 学習可能なデコンボリューション層を削除すると、明確な視覚的劣化が生じ、特徴再構成におけるその重要性が示された。
• IIWデータセットでは性能が最適でない（WHDR = 27.2）ことが判明し、Sintel/MITとIIWの間にはドメインシフトが生じている可能性がある。これは、真値のフォーマットの違い（物理的分解 vs. 人間の判断）に起因する可能性がある。