[論文レビュー] Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks

Konstantinos Bousmalis, Nathan Silberman+3 more|arXiv (Cornell University)|Dec 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 72

ひとこと要約

本論文は、ペairedデータを必要とせずに、合成ソースドメインの画像をピクセルレベルで実際のターゲットドメインの画像に変換するGANベースの教師なしドメイン適応手法PixelDAを提案する。オブジェクト分類およびポーズ推定タスクにおいて最先端の性能を達成し、困難な設定下でポーズ推定誤差を50%以上低減するとともに、未学習のオブジェクトクラスに対しても安定的かつ一般化可能な適応が可能である。

ABSTRACT

Collecting well-annotated image datasets to train modern machine learning algorithms is prohibitively expensive for many tasks. One appealing alternative is rendering synthetic data where ground-truth annotations are generated automatically. Unfortunately, models trained purely on rendered images often fail to generalize to real images. To address this shortcoming, prior work introduced unsupervised domain adaptation algorithms that attempt to map representations between the two domains or learn to extract features that are domain-invariant. In this work, we present a new approach that learns, in an unsupervised manner, a transformation in the pixel space from one domain to the other. Our generative adversarial network (GAN)-based method adapts source-domain images to appear as if drawn from the target domain. Our approach not only produces plausible samples, but also outperforms the state-of-the-art on a number of unsupervised domain adaptation scenarios by large margins. Finally, we demonstrate that the adaptation process generalizes to object classes unseen during training.

研究の動機と目的

• 合成データで学習したモデルが実画像に一般化できないドメインシフト問題に対処すること。
• ラベル付きターゲットデータやペアドソース・ターゲット画像を必要としない、教師なしでピクセルレベルのドメイン適応手法の開発。
• タスク固有のモデルからドメイン適応を分離することで、柔軟性と再利用性を向上させること。
• タスク固有の損失およびコンテンツ類似度損失を導入することで、敵対的ドメイン適応における学習安定性と一般化性能を向上させること。
• トレーニング中に未観測のオブジェクトクラスに対してもゼロショット一般化を可能にすること。

提案手法

• 条件付きGANを用いて、ペアドデータが存在しない状態で、ソースドメイン（例：合成）画像をターゲットドメイン（例：実）画像にマッピングする。
• 生成器はドメイン識別器に対する敵対的損失を最小化するとともに、特徴再構成に基づくコンテンツ類似度損失によりコンテンツを保持する。
• タスク固有の分類器を、実際のソース画像と生成されたターゲット風画像の両方で同時に学習させることで、学習の安定化と性能向上を図る。
• コンテンツ類似度損失により、生成画像が入力のソース画像の意味的コンテンツを保持し、モード崩壊を防ぐ。
• 敵対的損失、タスク固有の分類損失、コンテンツ再構成損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。
• 適応プロセスをタスク固有の分類器から分離することで、異なる下流タスクにわたってドメインアダプタを再利用可能にする。

実験結果

リサーチクエスチョン

• RQ1 ペアドソース・ターゲット画像を必要としないGANベースのモデルが、教師なしピクセルレベルドメイン適応を効果的に行えるか？
• RQ2 提案手法が、最先端の教師なしドメイン適応技術と比較して、分類やポーズ推定などの下流タスクの性能を向上させるか？
• RQ3 トレーニング時に未観測のオブジェクトクラスに対してもモデルが一般化可能か、ゼロショット適応が可能か？
• RQ4 タスク固有の損失およびコンテンツ類似度損失の導入が、学習安定性と性能のばらつきに与える影響は？
• RQ5 少量のラベル付きターゲットサンプルを用いた半教師あり設定でも、モデルが有効に利用可能か？

主な発見

• PixelDAは、'Synthetic Cropped Linemod to Cropped Linemod'ベンチマークで分類精度99.93%、平均角度誤差13.31°を達成し、先行手法を大きく上回った。
• 困難な'Synthetic Cropped Linemod to Cropped Linemod'シナリオにおいて、前人最高の手法と比較してポーズ推定誤差を50%以上低減した。
• トレーニング時に未観測のオブジェクトクラスに対しても一般化でき、5つの未観測のLinemodオブジェクトで分類精度98.98%を達成し、ゼロショット転送能力を示した。
• タスク固有の損失およびコンテンツ類似度損失の導入により、ランダム初期化における分類精度の標準偏差が23.26%から1.60%に低下し、学習安定性が顕著に向上した。
• ターゲットデータのラベル付きサンプルがたった1,000個の半教師あり設定でも、PixelDAは99.93%の精度と13.31°の平均角度誤差を達成し、合成データとラベル付きターゲットデータの両方で学習したベースラインを上回った。
• モデルが生成する適応画像は視覚的に現実のターゲットドメイン画像に類似しており、実際のRGBDサンプルとの定性的比較でも顕著に類似している。