[論文レビュー] Unsupervised Domain Adaptation Using Approximate Label Matching

Jordan T. Ash, Robert E. Schapire+1 more|arXiv (Cornell University)|Feb 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 5

ひとこと要約

本論文では、ターゲットデータのノイズの多い擬似ラベルを生成し、それらを用いてドメイン不変特徴変換を学習する、新しい非教師ありドメイン適応手法であるApproximate Label Matching (ALM) を提案する。ALM は、真のラベルが存在しない状況でもターゲットラベル構造を活用することで、合成データおよび実世界のデータの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Domain adaptation addresses the problem created when training data is generated by a so-called source distribution, but test data is generated by a significantly different target distribution. In this work, we present approximate label matching (ALM), a new unsupervised domain adaptation technique that creates and leverages a rough labeling on the test samples, then uses these noisy labels to learn a transformation that aligns the source and target samples. We show that the transformation estimated by ALM has favorable properties compared to transformations estimated by other methods, which do not use any kind of target labeling. Our model is regularized by requiring that a classifier trained to discriminate source from transformed target samples cannot distinguish between the two. We experiment with ALM on simulated and real data, and show that it outperforms techniques commonly used in the field.

研究の動機と目的

• トレーニングデータとテストデータの分布が異なるというドメインシフトの課題に対処すること。
• 真のラベルが不要な状況でも、ターゲットドメインからの暗黙のラベル構造を統合することで、非教師ありドメイン適応を改善すること。
• 擬似ラベルが付与されたターゲットデータを用いて、ソースドメインとターゲットドメインを整合させる強固な特徴変換を学習すること。
• ノイズが多くて近似的なターゲットラベルですら、ドメイン適応性能を顕著に向上させられることを示すこと。
• ターゲットラベルが存在しない状況でも、ドメイン整合変換の学習中に過学習を防ぐ正則化スキームを提供すること。

提案手法

• ALM は、ソースデータで訓練された分類器を用いてターゲットデータの粗いラベリングを構築し、ターゲットの擬似ラベル分布を生成する。
• ALM は、ソースデータと変換済みターゲットデータの乖離を最小化すると同時に、近似的なラベル構造を保持する特徴変換を学習する。
• ドメイン不変性を強制するために、識別器を訓練してソースサンプルと変換済みターゲットサンプルを区別させることで、正則化が行われる。
• 対照的損失を用いたニューラルネットワークを最適化することで、ソース特徴と擬似ラベル付きターゲット特徴の間の整合性を促進する。
• 一部の設定では反復的に適用され、1回目の反復の出力を次の反復の入力として用い、擬似ラベルを精錬する。
• ALM は、既存のあらゆるドメイン適応手法と組み合わせられ、より良い整合性をもたらすことで性能を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが存在しない状況でも、近似的なターゲットラベルがドメイン適応性能を顕著に向上させられるか？
• RQ2 ターゲットラベル構造を組み込むことで、ドメイン整合変換の質はどのように変化するか？
• RQ3 ALM は、合成データおよび実世界のデータセットの両方で、既存の非教師ありドメイン適応手法を上回るか？
• RQ4 ALM は、他のドメイン適応手法と効果的に組み合わせられ、さらなる性能向上をもたらすか？
• RQ5 正則化は、ターゲットラベルが存在しない状況で過学習を防ぐ上でどのような影響を及ぼすか？

主な発見

• 合成ドメイン適応タスクにおいて、ALM はすべてのベースライン手法を上回り、ターゲットが S04 の場合に 90.6% の精度を達成した。これは DANN の 79.9% や SA の 75.9% よりも優れている。
• MEG神経画像解析データセットでは、ALM は平均 81.3% の精度を達成し、DANN（73.3%）、SA（71.6%）、スタックド一般化（66.1%）を上回った。
• ターゲットドメインが顕著にシフトしている場合（例：回転および平行移動）でも、ALM は意味のある整合性を学習できたが、他の手法は失敗した。
• ALM は、初期の擬似ラベル化の品質を下回ることはないため、安定的かつ信頼性の高い改善が得られている。
• MEG 実験の全 16 名の被験者において一貫した向上が見られ、次に良い手法よりも 2.5 ～ 10.5 パcent 点の向上を示した。
• ALM の性能は頑健で汎用的であり、ソースドメインとターゲットドメインが幾何学的に重複しない場合でも、強い結果を維持した。