[論文レビュー] DARN: a Deep Adversial Residual Network for Intrinsic Image Decomposition

Louis Lettry, Kenneth Vanhoey+1 more|arXiv (Cornell University)|Dec 23, 2016

Medical Image Segmentation Techniques被引用数 6

ひとこと要約

本論文は、知覚的損失を有するGAN損失を用いたエンド・ツー・エンド学習により、1枚の画像からアルベドとシャドーを同時に予測する深層敵対的残差ネットワークDARNを提案する。エネルギー保存則とスケール感受性を強制することで、簡素化された完全畳み込み型アーキテクチャに残差ブロックと敵対的識別器を組み合わせ、MPI Sintelデータセットで最先端の性能を達成した。定量的および定性的に、先行手法を上回った。

ABSTRACT

We present a new deep supervised learning method for intrinsic decomposition of a single image into its albedo and shading components. Our contributions are based on a new fully convolutional neural network that estimates absolute albedo and shading jointly. Our solution relies on a single end-to-end deep sequence of residual blocks and a perceptually-motivated metric formed by two adversarially trained discriminators. As opposed to classical intrinsic image decomposition work, it is fully data-driven, hence does not require any physical priors like shading smoothness or albedo sparsity, nor does it rely on geometric information such as depth. Compared to recent deep learning techniques, we simplify the architecture, making it easier to build and train, and constrain it to generate a valid and reversible decomposition. We rediscuss and augment the set of quantitative metrics so as to account for the more challenging recovery of non scale-invariant quantities. We train and demonstrate our architecture on the publicly available MPI Sintel dataset and its intrinsic image decomposition, show attenuated overfitting issues and discuss generalizability to other data. Results show that our work outperforms the state of the art deep algorithms both on the qualitative and quantitative aspect.

研究の動機と目的

• 単一画像の内在的分解の不適切な性質に対処するため、アルベドとシャドーを同時に学習し、スケールの曖昧さとエネルギー損失を回避する。
• シャドーの滑らかさやアルベドのスパarsityといった物理的事前知識に依存しない、完全にデータ駆動型のアプローチを実現する。
• 敵対的学習と知覚的損失を用いることで、ぼやけや色の漏れといったアーチファクトを低減し、一般化性能を向上させる。
• スケール感受性と分解の一貫性を考慮した新しい定量的指標を導入し、より公平な評価を可能にする。
• SintelやMITなどの混合データセットで学習することで、ドメイン間の頑健性と転送可能性を示す。

提案手法

• 本手法は、残差ブロックに基づく完全畳み込み型エンド・ツー・エンド深層ネットワークを用い、1枚の入力画像からアルベドとシャドーを同時に予測する。
• 入力画像からの偏差を予測する残差学習戦略を採用することで、訓練の安定性と特徴量学習を向上させる。
• 2つの敵対的に訓練された識別器を備えたデュアルディスクリミネーターGANアーキテクチャを導入し、アルベドおよびシャドーの予測における知覚的リアリズムを強制する。
• 敵対的損失と知覚的動機付けられた指標を組み合わせた損失関数を用い、アーチファクトを低減し、視覚的忠実度を向上させる。
• ドメインのズレを補うために、SintelとMITデータセットの組み合わせを用いて学習し、データ混合戦略を導入する。
• 共同予測の設計によりエネルギー保存則が保証され、再構成画像 I ≈ A · S が成立する。

実験結果

リサーチクエスチョン

• RQ1 物理的事前知識に依存せずに、エネルギー保存型の内在的分解を実現できる完全エンド・ツー・エンドの深層学習モデルは存在するか？
• RQ2 アルベドとシャドーを同時に予測することで、別々に予測する場合と比較して、一貫性が向上し、アーチファクトがどのように低減されるか？
• RQ3 知覚的損失を用いた敵対的学習は、ぼやけやコントラストの振動といった一般的なGANアーチファクトを、内在的分解においてどの程度低減できるか？
• RQ4 スケール感受性指標は、従来のスケール不変指標に比べて、内在的分解の評価をどのように改善するか？
• RQ5 合成データで学習したモデルは、現実世界や多様なドメインに一般化可能か？その限界は何か？

主な発見

• Sintelのシーンスプリットでは、DARNはsi-MSEが2.41、rs-MSEが2.45を達成し、スケール不変およびスケール感受性指標の両方で先行最先端手法を上回った。
• SintelとMIT（50/50比率）の混合データセットで学習した場合、MITのオブジェクトスプリットではrs-MSEが1.07にまで低下し、前例のない性能を達成した。
• SintelとMITのデータセットを統合して学習したモデルは、SintelでDSSIMが16.65、MITで22.90を達成し、ドメイン間での強い一般化性能を示した。
• 定性的な結果では、図6のドアのような複雑なシーンでも分解性能が向上したが、Sintelの合成バイアスの影響で一部の黄色みがかったシャドーが持続するアーチファクトが残存した。
• 混合学習データを用いることで、従来の深層学習手法と比較して過学習が抑制され、ドメイン内一般化性能が向上した。
• 合成ベンチマークでは優れた性能を示したが、現実世界データ（例：IIW）へのドメイン間一般化は限定的であった。これは、ドメインシフト対策や現実世界データを用いた学習の必要性を示唆している。