[論文レビュー] Federated Adversarial Domain Adaptation

Xingchao Peng, Zijun Huang+2 more|arXiv (Cornell University)|Nov 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 117

ひとこと要約

本論文は、連邦学習における無監督型連邦ドメイン適応のための Federated Adversarial Domain Adaptation（FADA）を提案する。動的アテンションと表現分離を用いて、分散したソースドメイン間の表現をターゲットドメインへ整合させる。

ABSTRACT

Federated learning improves data privacy and efficiency in machine learning performed over networks of distributed devices, such as mobile phones, IoT and wearable devices, etc. Yet models trained with federated learning can still fail to generalize to new devices due to the problem of domain shift. Domain shift occurs when the labeled data collected by source nodes statistically differs from the target node's unlabeled data. In this work, we present a principled approach to the problem of federated domain adaptation, which aims to align the representations learned among the different nodes with the data distribution of the target node. Our approach extends adversarial adaptation techniques to the constraints of the federated setting. In addition, we devise a dynamic attention mechanism and leverage feature disentanglement to enhance knowledge transfer. Empirically, we perform extensive experiments on several image and text classification tasks and show promising results under unsupervised federated domain adaptation setting.

研究の動機と目的

• データをドメイン間で共有できない UFDA を動機づけ、形式化する。
• アルゴリズム設計を導くための UFDA の一般化境界を導出する。
• 連邦設定での敵対的整合と特徴分離によりドメインシフトを最小化する FADA を提案する。

提案手法

• ソースドメインの勾配をターゲットドメインへの寄与度に基づいて重み付けする動的アテンションを開発する。
• データ共有を伴わず、ドメイン固有の局所特徴抽出器とグローバル識別器を訓練して連邦的敵対的整合を実現する。
• 表現をドメイン不変成分とドメイン特有成分に分解する特徴分離を適用し、相互情報量推定器（MINE）を支援に用いる。
• UFDA でソースとターゲットの分布を整合させるために、2 段階の敵対的目的（ドメイン識別子と生成器）を採用する。
• 表現の完全性を保持する再構成損失とエンドツーエンドの SGD 最適化ループ（アルゴリズム 1）を組み込む。
• ギャップ統計を活用してソースの寄与を測定し、動的勾配マスクを集約に用いる。

実験結果

リサーチクエスチョン

• RQ1 データをローカルソースにとどめ、勾配のみを共有する状況で UFDA を現実的にどのように達成できるか？
• RQ2 敵対的ドメイン整合と表現分離は連邦設定でドメインシフトを低減できるか？
• RQ3 動的アテンションが集約時の多様なソースドメインの重み付けに与える影響は？
• RQ4 FADA は UFDA の下で画像とテキスト分類タスクでどのように性能を示すか？
• RQ5 UFDA の性能を理論的にどの程度の保証で境界づけできるか？

主な発見

モデル | mt,sv,sy,up → mm	mm,sv,sy,up → mt	mt,mm,sy,up → sv	mt,mm,sv,up → sy	mt,mm,sv,sy → up	Avg
Source Only	63.3 ± 0.7	90.5 ± 0.8	88.7 ± 0.8	63.5 ± 0.9	82.4 ± 0.6	77.7
DAN	63.7 ± 0.7	96.3 ± 0.5	94.2 ± 0.8	62.4 ± 0.7	85.4 ± 0.7	80.4
DANN	71.3 ± 0.5	97.6 ± 0.7	92.3 ± 0.8	63.4 ± 0.7	85.3 ± 0.8	82.1
Source Only (second block)	49.6 ± 0.8	75.4 ± 1.3	22.7 ± 0.9	44.3 ± 0.7	75.5 ± 1.4	53.5
AdaBN	59.3 ± 0.8	75.3 ± 0.7	34.2 ± 0.6	59.7 ± 0.7	87.1 ± 0.9	61.3
AutoDIAL	60.7 ± 1.6	76.8 ± 0.9	32.4 ± 0.5	58.7 ± 1.2	90.3 ± 0.9	65.8
f -DANN	59.5 ± 0.6	86.1 ± 1.1	44.3 ± 0.6	53.4 ± 0.9	89.7 ± 0.9	66.6
f -DAN	57.5 ± 0.8	86.4 ± 0.7	45.3 ± 0.7	58.4 ± 0.7	90.8 ± 1.1	67.7
FADA + attention ( I )	44.2 ± 0.7	90.5 ± 0.8	27.8 ± 0.5	55.6 ± 0.8	88.3 ± 1.2	61.3
FADA + adversarial ( II )	58.2 ± 0.8	92.5 ± 0.9	48.3 ± 0.6	62.1 ± 0.5	90.6 ± 1.1	70.3
FADA + disentangle ( III )	62.5 ± 0.7	91.4 ± 0.7	50.5 ± 0.3	71.8 ± 0.5	91.7 ± 1.0	73.6

• フルセットのコンポーネント（動的アテンション、敵対的整合、分離）を備えた FADA は Digit-Five で平均性能が最も高くなる（表 1 の 73.6%）。
• 動的アテンションと敵対的整合はそれぞれベースラインより性能を改善し、分離バリアントはタスク全体で強力な向上を提供する（モデル III）。
• ソースはデータを集中化できないため、共有データを前提とするマルチソース DA より UFDA は困難である。
• FADA は f-DANN および f-DAN と比較して学習特徴のクラス内分散をより圧縮し、クラス間分散を大きくする（Figure 3 の t-SNE で可視化）。
• Office-Caltech10、DomainNet、Amazon Review の各データセットで、分離を備えた FADA は強力なベースラインより一貫して精度を改善している（Tables 2–4）。