[論文レビュー] Constrained Structured Regression with Convolutional Neural Networks

Deepak Pathak, Philipp Krähenbühl+2 more|arXiv (Cornell University)|Nov 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 1被引用数 8

ひとこと要約

この論文は、出力分布と制約の満たされる確率をモデル化することで、構造的回帰タスクにおけるより正確で知覚的に一貫性のある予測を可能にする、畳み込みニューラルネットワークを用いた制約付き構造的回帰フレームワークを提案する。出力と制約の両方の信頼性を学習することで、MPI Sintel データセットにおける内在的画像分解の性能が著しく向上し、最先端手法よりも相対的に10–20%の改善を達成した。

ABSTRACT

Convolutional Neural Networks (CNNs) have recently emerged as the dominant model in computer vision. If provided with enough training data, they predict almost any visual quantity. In a discrete setting, such as classification, CNNs are not only able to predict a label but often predict a confidence in the form of a probability distribution over the output space. In continuous regression tasks, such a probability estimate is often lacking. We present a regression framework which models the output distribution of neural networks. This output distribution allows us to infer the most likely labeling following a set of physical or modeling constraints. These constraints capture the intricate interplay between different input and output variables, and complement the output of a CNN. However, they may not hold everywhere. Our setup further allows to learn a confidence with which a constraint holds, in the form of a distribution of the constrain satisfaction. We evaluate our approach on the problem of intrinsic image decomposition, and show that constrained structured regression significantly increases the state-of-the-art.

研究の動機と目的

• 標準のCNNが構造的回帰タスクにおいて出力を独立して扱い、物理的またはモデル化された制約をモデル化できないという限界に対処すること。
• 物理ベースの制約を再導入することで、アルベドとシャドーの間の依存関係を回復し、内在的画像分解の性能を向上させること。
• 予測された出力分布だけでなく、制約が成り立つ確信度も学習することで、より頑健な推論を可能にすること。
• 制約の満たされ具合を推論中に活用することで、事後的な制約の強制ではなく、一般化性能と視覚的品質の向上を実現すること。

提案手法

• CNNが、内在的画像分解におけるアルベドやシャドーなどの出力変数の完全な確率分布を予測するように訓練する。
• 同時に、ラムベルトの法則のような物理的制約の満たされる確率分布を学習し、制約の有効性における不確実性をモデル化する。
• 推論段階では、構造的予測アプローチを用いて、最も確信度の高い制約を満たす構成を強制しながら出力分布からサンプリングする。
• 正確な出力予測と一貫性のある制約の満たし方を同時に促進する微分可能損失関数を用い、エンドツーエンドで学習する。
• 効率的な学習と推論を可能にするために、出力と制約の同時分布を変分近似でモデル化する。
• 本手法は一般性を持ち、単眼深度推定や光流推定などの他の構造的回帰タスクにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 出力予測と制約の満たされ具合の両方における不確実性をモデル化することで、コンピュータビジョンタスクにおける構造的回帰性能が向上するか？
• RQ2 制約の満たされ具合の分布を学習することで、厳密な制約の強制よりも予測精度と視覚的品質が向上するか？
• RQ3 学習可能な制約の信頼性を通じて物理的知識を組み込むことで、特に訓練データが限られた状況下でもCNNがどの程度利益を得られるか？
• RQ4 本手法は、内在的画像分解において標準のCNNや既存の構造的予測手法を上回る性能を発揮するか、特に未学習のシーンへの一般化性能はどうか？
• RQ5 深度情報や追加の監視信号を必要とせず、RGB入力のみで最先端の結果を達成できるか？

主な発見

• MPI Sintel データセットにおいて、前人最高の手法よりも平均MSEで13.76%、平均LMSEで12.10%、平均DSSIMで17.08%の相対的改善を達成した。
• 深度監視を用いた手法を含むすべての先行手法を上回り、シーン分割において平均MSEが1.89%、平均LMSEが1.24%を記録した。
• 視覚的比較では、両者ともRGB入力のみを用いているにもかかわらず、本手法はNarihiraら（2015a）の手法よりもより詳細で正確な結果を生成した。
• DSSIMの17.08%の相対的増加から、本フレームワークが知覚的品質を著しく向上させたことが示された。
• 制約の満たされ具合の信頼性を学習することで、単純な制約強制よりも優れた性能が得られ、DSSIM以外のすべての指標で性能が低下した。
• 本手法は未学習のシーンに対しても良好に一般化し、分離された訓練／テストシーン分割においても強力な性能を示しており、分布シフトに対する頑健性を確認した。