[論文レビュー] Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation

Jeroen Manders, Twan van Laarhoven+1 more|arXiv (Cornell University)|Apr 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 12

ひとこと要約

本稿では、事前学習された深層ニューラルネットワークの特徴量上で敵対的学習を用いて、ソースドメインとターゲットドメインの予測不確実性を一致させるLAD（Label Alignment with Deep features）というドメイン適応手法を提案する。ドメイン識別器を用いてソースとターゲットの予測不確実性分布を区別するように訓練することで、特徴抽出器の微調整を必要とせず、精度とロバスト性を向上させ、Office-31およびImageCLEF-DAデータセットで最先端の結果を達成した。

ABSTRACT

We consider unsupervised domain adaptation: given labelled examples from a source domain and unlabelled examples from a related target domain, the goal is to infer the labels of target examples. Under the assumption that features from pre-trained deep neural networks are transferable across related domains, domain adaptation reduces to aligning source and target domain at class prediction uncertainty level. We tackle this problem by introducing a method based on adversarial learning which forces the label uncertainty predictions on the target domain to be indistinguishable from those on the source domain. Pre-trained deep neural networks are used to generate deep features having high transferability across related domains. We perform an extensive experimental analysis of the proposed method over a wide set of publicly available pre-trained deep neural networks. Results of our experiments on domain adaptation tasks for image classification show that class prediction uncertainty alignment with features extracted from pre-trained deep neural networks provides an efficient, robust and effective method for domain adaptation.

研究の動機と目的

• 自己教師ありドメイン適応を、ソースドメインとターゲットドメインの間で予測不確実性を一致させることで解決すること。
• 微調整を伴わずに、事前学習された深層ニューラルネットワークを活用して転送可能な特徴量を取得する手法を開発すること。
• クラス重みを用いた特化した損失関数により、過信した予測をペナルティ化することでロバスト性を向上させること。
• 多様な事前学習アーキテクチャとドメイン適応ベンチマークで本手法を評価すること。
• 予測レベルでの不確実性一致が、ドメイン適応において有効かつ効率的であることを示すこと。

提案手法

• 本手法は、ソースドメインおよびターゲットドメインの両方でクラス確率を予測するラベル分類器fを用いる。
• ドメイン識別器gを訓練し、ソースドメインとターゲットドメインの予測不確実性分布を区別できるようにする。
• 敵対的学習により、ソースドメインにおける教師あり損失を最小化し、同時にドメイン識別器がソースとターゲットの不確実性出力を正しく分類できるようにする。
• 訓練の安定化とロバスト性の向上（特にクラス分布が不均衡な場合）を目的に、クラス重み付き損失関数を導入する。
• 事前学習済み特徴抽出器の微調整を行わず、計算効率が高くなる。
• t-SNE可視化を用いて、ベースラインモデルとLADモデルの特徴表現を比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み特徴量の微調整を伴わずに、予測不確実性の敵対的一致がドメイン適応性能を向上させることができるか？
• RQ2 損失関数にクラス重みを組み込むことで、クラス分布が不均衡な状況下でのモデルのロバスト性と精度にどのような影響を与えるか？
• RQ3 多様な事前学習アーキテクチャにおいて、LADは既存のドメイン適応手法と比較して精度と効率の面で優れているか？
• RQ4 不確実性一致が、よりドメイン不変な特徴表現をもたらす程度はどの程度か？
• RQ5 本手法は、ドメインシフトの程度が異なるさまざまな転送タスクおよびデータセットに一般化可能か？

主な発見

• Office-31データセットにおいて、ResNet50特徴量を用いたLADは、クラス重みを適用した場合に平均87.9%の精度を達成したのに対し、適用しない場合は80.3%であった。
• ImageCLEF-DAデータセットでは、クラス重みを適用した場合に86.5%、適用しない場合に87.8%の精度を記録した。これは、重みの効果がデータセットに依存しており、特にクラス分布が不均衡な場合に顕著に効果を発揮することを示している。
• LADは、Office-31およびImageCLEF-DAの両方のベンチマークで既存のベースラインを上回り、特に挑戦的な転送タスクにおいて最先端の結果を達成した。
• t-SNE可視化の結果、LADの特徴量はベースラインの特徴量よりもドメイン不変性が高く、クラス間でより明確に分離されていることがわかった。
• 本手法は計算的にも効率的であり、1つのGPUを用いてOffice-31では1エポック0.4秒、ImageCLEF-DAでは0.2秒で学習が完了した。
• 重み付き損失関数を用いた学習では、ターゲットの予測が過大評価される傾向が見られたが、これは損失が増加したものの、精度が安定したことを示しており、ロバスト性の向上が裏付けられた。