[論文レビュー] On Target Shift in Adversarial Domain Adaptation

Yitong Li, Michael Murias+3 more|PubMed|Mar 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 1被引用数 7

ひとこと要約

本稿では、標本の分布マッチングと、ターゲットドメインに近いソースドメインの重み付けにより、ターゲットドメインのラベル比率を推定することで、ラベルシフトを是正するドメインアダプティブラネットワークであるDATSを提案する。この手法は、大きなラベルシフト下でも一般化性能を向上させ、合成データおよび実世界のEEG/LFPデータセットにおいて、DANNおよびMDANsを上回る顕著な精度向上を達成する。

ABSTRACT

Discrepancy between training and testing domains is a fundamental problem in the generalization of machine learning techniques. Recently, several approaches have been proposed to learn domain invariant feature representations through adversarial deep learning. However, label shift, where the percentage of data in each class is different between domains, has received less attention. Label shift naturally arises in many contexts, especially in behavioral studies where the behaviors are freely chosen. In this work, we propose a method called Domain Adversarial nets for Target Shift (DATS) to address label shift while learning a domain invariant representation. This is accomplished by using distribution matching to estimate label proportions in a blind test set. We extend this framework to handle multiple domains by developing a scheme to upweight source domains most similar to the target domain. Empirical results show that this framework performs well under large label shift in synthetic and real experiments, demonstrating the practical importance.

研究の動機と目的

• ラベルシフトの問題に対処すること—これは、ソースドメインとターゲットドメインの間でクラスラベルの比率が異なる状況であり、通常、敵対的ドメインアダプテーションで無視されがちである。
• 分布マッチングを用いて、ラベルの推定値を考慮した上で、未知のターゲットドメインのラベル比率を盲的なテスト設定で推定する手法を開発すること。
• ターゲットドメインとの類似度に基づいてソースドメインに重みを付けることで、不要なソースからの劣化を回避し、マルチソースドメインアダプテーションを改善すること。
• ラベル比率推定とドメイン重み付けを統合した、敵対的ドメインアダプテーションに適したエンド・ツー・エンドで学習可能なフレームワークを構築すること。
• 特に、EEGおよびLFP記録のような実世界のバイオメディカルデータセットにおいて、大きなラベルシフト下でも頑健な性能を示すことを実証すること。

提案手法

• 共有の特徴抽出器を用いてドメイン不変の表現を学習し、敵対的学習によりドメイン識別器を訓練することでドメインの混同を促進する。
• ソースとターゲットの特徴間のマージナル分布ギャップを最小化するためのラベル比率推定器を導入する。
• ターゲットドメインのラベル比率は、平均マッチングと分布マッチングを用いて推定され、予測されたラベル分布と推定されたラベル分布を一致させる損失項が使用される。
• 特徴レベルの類似度に基づき、ターゲットドメインに最も近いソースドメインに高い重みを付ける学習可能な重みベクトルを導入し、関係の薄いドメインの影響を抑制する。
• 特徴抽出、ドメイン不変性、ラベル予測、ラベル比率推定を同時に最適化する反復的でエンド・ツー・エンドの学習によりモデルを訓練する。
• 複数のソースに対応するため、動的に情報量の多いソースドメインを選択するドメイン関連性重み付け方式をフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインのクラス分布がソースドメインと著しく異なる場合、ラベル比率推定がドメインアダプテーションの性能向上に寄与するか？
• RQ2 マルチソースドメインアダプテーションにおける一般化性能を向上させるために、ソースドメインをターゲットドメインとの関連性に基づいてどのように重み付けできるか？
• RQ3 単純な平均マッチングに比べて、ラベル比率の分布マッチングがターゲットドメインのクラス分布推定において優れているか？
• RQ4 統合されたフレームワークにより、ラベル比率の推定とソースドメインの重み付けを同時に実行することで、不要またはノイズの多いソースデータの悪影響を軽減できるか？
• RQ5 実世界のバイオメディカルデータセット（小規模で不均衡なドメインを含む）において、大きなターゲットシフト下で本手法はどの程度の性能を示すか？

主な発見

• DATSは、ラベルシフト下のすべての数字画像分類タスクにおいてDANNおよびMDANsを上回り、ASD EEGデータセットでは67.2%の精度を達成したのに対し、DANNは63.8%であった。
• LFPデータセットでは、DATSが77.2%の精度を達成し、DANN（75.1%）およびMDANs（71.4%）を上回り、大きなラベルシフト下でも頑健であることが示された。
• 平均マッチング戦略のみでもベースラインを上回る性能を示したが、分布マッチングはわずかではあるが一貫した向上をもたらした。
• ソースドメインの数が21（ASD）および28（LFP）に増加しても、過学習を回避し、高い性能を維持した。
• 最小限のハイパーパrameterチューニングで効果を発揮し、変動するラベル比率を伴う実世界の応用において、強い実用的価値を示した。