[論文レビュー] Unsupervised Domain Adaptation with Random Walks on Target Labelings

Twan van Laarhoven, Elena Marchiori|arXiv (Cornell University)|Jun 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 11

ひとこと要約

本稿では、一般化境界に基づく一般化性の安定性を用いて、安定した予測を同定するためのターゲットラベル付けにおけるランダムウォークを用いる、シンプルでありながら効果的な非教師ありドメイン適応手法RWAを提案する。一般化境界に基づくラベル付けの安定性を活用し、訪問したラベル付けの多数決を実行することで、教師データや特徴変換を必要とせず、事前学習済みの深層特徴を用いる場合でも、画像およびテキストの適応タスクで最先端の性能を達成する。

ABSTRACT

Unsupervised Domain Adaptation (DA) is used to automatize the task of labeling data: an unlabeled dataset (target) is annotated using a labeled dataset (source) from a related domain. We cast domain adaptation as the problem of finding stable labels for target examples. A new definition of label stability is proposed, motivated by a generalization error bound for large margin linear classifiers: a target labeling is stable when, with high probability, a classifier trained on a random subsample of the target with that labeling yields the same labeling. We find stable labelings using a random walk on a directed graph with transition probabilities based on labeling stability. The majority vote of those labelings visited by the walk yields a stable label for each target example. The resulting domain adaptation algorithm is strikingly easy to implement and apply: It does not rely on data transformations, which are in general computational prohibitive in the presence of many input features, and does not need to access the source data, which is advantageous when data sharing is restricted. By acting on the original feature space, our method is able to take full advantage of deep features from external pre-trained neural networks, as demonstrated by the results of our experiments.

研究の動機と目的

• サブサンプルごとに一般化性能が良好に保たれる安定したターゲットラベル付けを特定することにより、非教師ありドメイン適応を解決すること。
• 計算コストが高く、実際の応用において制限がかかるデータ変換や教師データへのアクセスに依存しないようにすること。
• エンドツーエンドのファインチューニングを伴わずに、事前学習済みの深層ニューラルネットワーク特徴をドメイン適応に効果的に活用できること。
• 元の特徴空間で直接動作する手法を開発し、深層特徴の表現力を保持すること。

提案手法

• ラベル付けの安定性を、与えられたラベル付けに基づいてターゲットデータのランダムサブサンプルで訓練された分類器が同じラベル付けを出力する確率として定義する。
• 状態がラベル付けであり、遷移確率がラベル付けの安定性に基づくマルコフ連鎖を構築する。
• 教師分類器のラベル付けから出発するランダムウォークを実行し、より安定したラベル付けへと探索・収束させる。
• ウォーク中に訪問したラベル付けの多数決を、各ターゲット例の最終予測として用いる。
• 特徴変換や反復最適化を伴わないことで、スケーラビリティと効率性を確保する。
• 事前学習ネットワークからの深層特徴をラベル付けプロセスに直接統合し、高性能な適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般化境界に基づくラベル付けの安定性を、教師データやデータ変換にアクセスできない状況でもドメイン適応をガイドするのに利用できるか？
• RQ2 ラベル付け上のランダムウォークは、ラベルなしターゲットデータに対して、頑健で一貫性のある予測を特定するためにどのように利用できるか？
• RQ3 ファインチューニングなしで、事前学習済みの深層特徴を非教師ありドメイン適応で効果的に活用できる範囲はどの程度か？
• RQ4 多数決によるランダムウォークの訪問履歴に基づく単純で反復処理を伴わない手法が、複雑なディープラーニングベースのドメイン適応モデルを上回る性能を発揮できるか？

主な発見

• RWAは、画像およびテキストのドメイン適応ベンチマークで最先端の性能を達成しており、浅い手法や複雑なディープラーニングモデルを上回っている。
• Office-HomeおよびAmazonデータセットでは、深層特徴を用いる際、正確性が最大で13.5ポイント向上した（例：A→Wで77.1%から90.6%に向上）。
• Cross Dataset Testbedでは、平均正確性が48.5%に達し、次に優れた手法（CORALで43.9%）を顕著に上回った。
• ハイパーパrameterの選択に対して頑健であり、実行間での分散が低かった（Amazonデータセットで標準偏差0.1）、一貫性のある性能を示した。
• 教師データへのアクセスや特徴変換を一切必要としないが、エンドツーエンドのディープラーニングモデルと同等の性能を達成している。
• 特に、Caltech256からImageNetへの困難な転送タスクにおいて、正確性が10ポイント以上向上し、RWAの性能の優位性が顕著に現れた。