[論文レビュー] Leveraging Multi-view Image Sets for Unsupervised Intrinsic Image Decomposition and Highlight Separation

Renjiao Yi, Ping Tan+1 more|arXiv (Cornell University)|Nov 17, 2019

Image Enhancement Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、カスタマープロダクト写真などのマルチビュー実写画像を用いて、インスタンタニアス画像分解とハイライト分離のための教師なし深層学習手法を提案する。色分布に基づく画像表現を導入し、局所的なずれに対して感受性を低くし、ハイライトとシェーディングの相関関係を活用することで、ハイライトとシェーディングの分離を向上させる対照的損失を導入。教師なしラベルを必要とせず、両タスクで最先端の性能を達成した。

ABSTRACT

We present an unsupervised approach for factorizing object appearance into highlight, shading, and albedo layers, trained by multi-view real images. To do so, we construct a multi-view dataset by collecting numerous customer product photos online, which exhibit large illumination variations that make them suitable for training of reflectance separation and can facilitate object-level decomposition. The main contribution of our approach is a proposed image representation based on local color distributions that allows training to be insensitive to the local misalignments of multi-view images. In addition, we present a new guidance cue for unsupervised training that exploits synergy between highlight separation and intrinsic image decomposition. Over a broad range of objects, our technique is shown to yield state-of-the-art results for both of these tasks.

研究の動機と目的

• 実世界のマルチビュー画像セット（例：カスタマープロダクト写真）を用いて、アルベド、シェーディング、ハイライト層にオブジェクト画像を教師なしで分解する手法の開発。
• カスタマープロダクト写真など、正確にアラインメントが難しい実世界のマルチビュー画像セットを用いた学習の課題に対処。
• ハイライト分離とシェーディング推定の相関関係をモデル化することで、インスタンタニアス画像分解の信頼性を向上。
• 教師ありアノテーションを一切不要としつつ、ハイライト分離およびインスタンタニアス画像分解の両タスクで最先端の性能を達成。

提案手法

• 本手法は、大規模な照明変動を伴うカスタマープロダクト写真のマルチビューデータセットを用い、教師なしでネットワークを学習する。
• 局所的な位置情報の詳細を捨てるため、局所的なずれに対して頑健な、ローカル色分布に基づく新規な画像表現を導入。
• ローカル色ヒストограмの比較により、マルチビュー画像間の一貫性を強制する色分布損失を提案。これにより、ずれに対する感受性が低下する。
• ハイライトサブネットワークを有効・無効にした場合のシェーディング推定値の間で対照的損失を導入。これにより、ハイライトとシェーディングの成分をより正確に生成するようネットワークをガイド。
• 教師なし損失の組み合わせを用いてエンドツーエンドで学習し、事前学習段階で合成ShapeNetデータのわずかな割合を用い、その後実データでファインチューニングする。
• 画像形成モデル $I_d = A \cdot S$ を用いて、ハイライト、シェーディング、アルベド層を同時に最適化するアーキテクチャを採用。

実験結果

リサーチクエスチョン

• RQ1 構造のないソース（例：カスタマープロダクト写真）から得られるマルチビュー実写画像を、教師なしインスタンタニアス画像分解およびハイライト分離に効果的に活用できるか？
• RQ2 実世界のデータに一般的に見られるマルチビュー画像セットの局所的ずれに対して、学習をどのようにして頑健にすることができるか？
• RQ3 ハイライト分離とインスタンタニアス分解の関係を活用することで、両タスクの性能を同時に向上させられるか？
• RQ4 ずれが生じる状況下で、標準的なピクセル単位の低ランク損失と比較して、色分布ベースの表現による性能向上はどの程度か？
• RQ5 ハイライトとシェーディング推定の依存関係を活用する対照的損失が、全体の分解品質を向上させられるか？

主な発見

• DiLiGenTデータセットでは、本手法がシェーディングMSE（0.0041）とDSSIM（0.0316）の最低値を達成し、SIRFS、DI、Shi et al.、Li et al.、CGを上回った。
• ShapeNet Intrinsic Datasetでは、インスタンタニアス分解においてMSEおよびDSSIMの両面で最先端の性能を達成。教師なしファインチューニングと色分布損失のおかげで顕著な改善が得られた。
• アブレーションスタディでは、対照的損失を除去した場合、拡散層がすべてゼロになる崩壊的解が得られ、この損失がネットワーク安定性において極めて重要な役割を果たしていることが確認された。
• 色分布損失は、ピクセル単位の低ランク損失と比較して、性能を5–48%向上させた。特にシェーディング推定において顕著で、表面形状をより正確に捉えることができた。
• ShapeNetデータセットの1.1%のみでファインチューニングしたにもかかわらず、合成画像への一般化性能が高く、より大きな合成データスプリットで学習した手法を上回った。
• 実画像における定性的な結果では、エンドツーエンドシステムが、先行手法と比較して、よりシャープなアルベドマップと洗練されたテクスチャディテールを生成した。