[論文レビュー] Revisiting Deep Intrinsic Image Decompositions

Qingnan Fan, Jiaolong Yang+3 more|arXiv (Cornell University)|Jan 11, 2017

Image Enhancement Techniques被引用数 12

ひとこと要約

本論文は、MIT、MPI-Sintel、IIWの複数のベンチマークで最先端の性能を達成する統合的深層学習アーキテクチャを提案する。このアーキテクチャは、共有コアネットワークと柔軟なデータセット固有の監督層を組み合わせることで実現される。本手法は、エッジをガイドするネットワークと1次元再帰的ドメインフィルタを用いた微分可能でエンド・ツー・エンドで学習可能なパイプラインを採用しており、後処理を必要とせず高速かつ高品質な分解を実現する。

ABSTRACT

While invaluable for many computer vision applications, decomposing a natural image into intrinsic reflectance and shading layers represents a challenging, underdetermined inverse problem. As opposed to strict reliance on conventional optimization or filtering solutions with strong prior assumptions, deep learning based approaches have also been proposed to compute intrinsic image decompositions when granted access to sufficient labeled training data. The downside is that current data sources are quite limited, and broadly speaking fall into one of two categories: either dense fully-labeled images in synthetic/narrow settings, or weakly-labeled data from relatively diverse natural scenes. In contrast to many previous learning-based approaches, which are often tailored to the structure of a particular dataset (and may not work well on others), we adopt core network structures that universally reflect loose prior knowledge regarding the intrinsic image formation process and can be largely shared across datasets. We then apply flexibly supervised loss layers that are customized for each source of ground truth labels. The resulting deep architecture achieves state-of-the-art results on all of the major intrinsic image benchmarks, and runs considerably faster than most at test time.

研究の動機と目的

• 強い事前知識を必要とする不適切に定義された逆問題としてのインテンス画像分解の課題に対処する。
• 多様なデータソースに一般化できないデータセット固有の深層学習アーキテクチャの限界を克服する。
• 密度付きラベルとペairワイズ比較の両方の監視を伴う、さまざまなデータセットに対して一貫した構造を維持する準ユニバーサルなネットワークアーキテクチャを開発する。
• ピecewise-constantアルベドや滑らかなシェーディングといった普遍的 priors をネットワーク設計に統合し、一般化性能を向上させる。
• 最小限の後処理と高い推論速度を実現するエンド・ツー・エンドの学習を可能にする。

提案手法

• インテンス画像形成の普遍的 priors（ピースワイズ定数アルベド、滑らかなシェーディング）を反映するコアな深層ネットワークアーキテクチャを設計する。
• アルベド層から主に顕著なエッジを予測するガイドネットワークを導入し、その後続の精練を支援する。
• ガイドネットワークの出力を用いて、アルベド予測をピースワイズ定数解へと導く1次元再帰的ドメインフィルタを適用する。
• 柔軟なデータセット固有の損失層を用いる：MITとMPI-SintelにはMSE、IIWには修正されたヘッジ損失を適用。
• 直接的なインテンスおよびガイドネットワークのパラメータを共有して、複数のデータセットにわたるエンド・ツー・エンドの学習を実行する。
• 異なる監視の勾配をバランスさせるために、共同学習中にIIW損失をMPI-SintelのMSE損失の2倍の大きさにスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 異なる監視タイプを持つ複数のインテンス画像ベンチマークで、1つの深層ネットワークアーキテクチャが最先端の性能を達成できるか？
• RQ2 ピースワイズ定数アルベドなどの普遍的 priors を深層ネットワークに埋め込むことで、データセット固有のチューニングなしに一般化性能を向上させられるか、その程度は？
• RQ3 密度付きラベル（MPI-Sintel）と弱いラベル（IIW）の両方のデータを共同で学習させることで、訓練データに含まれない実世界の画像の性能が向上するか？
• RQ4 訓練データが限られている場合でも、統合的アーキテクチャが個別に訓練された特化型モデルを上回れるか？
• RQ5 1次元再帰的ドメインフィルタは、細部と鋭いエッジを保持したままピースワイズ定数アルベドを効果的に強制できるか？

主な発見

• 提案手法は、MITインテンスデータセットでMSE（0.0134）とLMSE（0.0111）の最低値を達成し、追加の訓練データを用いた先行手法を上回った。
• MPI-Sintelベンチマークでは、すべての評価指標で最先端の結果を達成し、競合手法よりも明確で高品質な出力を得た。
• IIWとMPI-Sintelのデータを共同で学習させた場合、IIWでの平均WHDRは15.80に達し、大多数の先行手法を上回り、実世界のシーンに対する耐性が向上した。
• 定性的な結果から、共同学習により、訓練データに含まれない新しい屋外シーンにおいて、反射率推定の現実性と滑らかさが顕著に向上した。
• ほとんどの既存手法よりもテスト時の実行速度が著しく速く、後処理を伴わない効率的な推論が可能になった。
• モジュール型で柔軟な監視設計により、最小限のアーキテクチャ変更で、多様なデータソースに同じコアアーキテクチャを効果的に適応可能にした。