[論文レビュー] SharinGAN: Combining Synthetic and Real Data for Unsupervised Geometry Estimation

Koutilya Pnvr, Hao Zhou+1 more|arXiv (Cornell University)|Jun 7, 2020

Advanced Vision and Imaging参考文献 50被引用数 11

ひとこと要約

SharinGANは、合成画像と実画像の両方を、タスクに特化した共有表現にマッピングする新しいドメイン適応フレームワークを提案する。タスクに特化したドメイン固有の特徴を保持しながら、それらの特徴におけるドメインギャップを最小化するように生成器を訓練することにより、ラベル付きの実データを必要とせずに、モノクローラル深度推定および顔の法線推定において最先端の性能を達成する。

ABSTRACT

We propose a novel method for combining synthetic and real images when training networks to determine geometric information from a single image. We suggest a method for mapping both image types into a single, shared domain. This is connected to a primary network for end-to-end training. Ideally, this results in images from two domains that present shared information to the primary network. Our experiments demonstrate significant improvements over the state-of-the-art in two important domains, surface normal estimation of human faces and monocular depth estimation for outdoor scenes, both in an unsupervised setting.

研究の動機と目的

• ラベルなしの幾何推定における転移学習を妨げる合成画像と実画像の間のドメインギャップを解消すること。
• 高価な実データのアノテーションを必要とせずに、深層ネットワークの実世界の幾何推定タスクにおける性能を向上させること。
• 両ドメインを、タスクに特化した特徴のみが一致する共有表現空間にマッピングする方法を開発すること。
• タスクに特化した特徴における分布的差を低減することで、合成データと実データを組み合わせた主回帰器の効果的な訓練を可能にすること。

提案手法

• 共通の生成器ネットワーク、SharinGANを訓練し、実画像と合成画像の両方を、タスクに特化した特徴が一致する共通の潜在空間にマッピングする。
• 生成器は、アイデンティティマッピングを保持し、タスクとは関係のないドメイン固有の詳細を維持するために、再構成損失を用いてオートエンコーダとして事前学習する。
• 生成器は、タスクに特化した特徴についてドメイン不変の表現を強制するディスクラミネータを用いて、敵対的フレームワークで主タスクネットワークと同時に訓練する。
• 生成器と主ネットワークの両方を、再構成損失、敵対的損失、およびタスク固有の回帰損失を組み合わせた訓練目的関数により、エンドツーエンドで最適化する。
• 本手法は、タスクとは関係のないドメイン固有の特徴（例：髪の色、テクスチャ）を明示的に削除せず、主ネットワークがそれらを無視するように学習できるようにする。
• 本アプローチにより、主タスクに関連するドメイン固有の特徴（例：深度の手がかり、表面法線）のみが共有表現にマッピングされ、不必要な変換が最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応を用いて合成画像と実画像を統合することで、現在の最先端手法を上回るラベルなしの幾何推定が可能になるか？
• RQ2 タスクに特化したドメイン固有の特徴のみを共有空間にマッピングすることで、完全なドメイン間変換よりも優れた一般化性能が得られるか？
• RQ3 再構成損失は、未学習の実ドメインへの一般化を保証するためにどれほど重要か？
• RQ4 タスクに無関係なドメイン固有の特徴を保持するように訓練された生成器でも、主タスクのための効果的なドメイン整合化が可能か？
• RQ5 提案手法は、モノクローラル深度推定および顔の法線推定の両タスクでどの程度性能が向上するか？

主な発見

• KITTIのエイプテストスプリットにおいて、SharinGANは、先行研究の最先端手法と比較して、絶対誤差を23.77%低減した。
• Make3Dデータセットでは、最も強力なベースラインと比較して、絶対誤差が6.45%相対的に低減した。
• Photofaceデータセットにおける顔の法線推定では、真値と20°以内の精度が4.3ポイント上昇した（43.6%から47.88%に）。
• アブレーションスタディの結果、SharinGANモジュールと再構成損失の両方が、特に未学習ドメインにおいて最適な性能を達成するために不可欠であることが確認された。
• 定性的な結果から、微調整なしでもSfSNetよりもSharinGANが未学習データに優れた一般化性能を示している。
• 本手法は、タスクとは関係のないドメイン固有の視覚的詳細を保持しつつ、顕著な性能向上を達成しており、ロバストネスと一般化性能の両面で優れていることが示された。