[論文レビュー] Progressive Graph Learning for Open-Set Domain Adaptation

Yadan Luo, Zijian Wang+2 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning被引用数 39

ひとこと要約

論文は Progressive Graph Learning (PGL) を導入します。これはエピソディック訓練、グラフニューラルネットワーク、および対抗学習を用いて、未知のターゲットクラスに対処し、条件シフトを低減するエンドツーエンドのオープンセット無監督ドメイン適応法であり、より厳密なターゲット誤差境界を達成します。

ABSTRACT

Domain shift is a fundamental problem in visual recognition which typically arises when the source and target data follow different distributions. The existing domain adaptation approaches which tackle this problem work in the closed-set setting with the assumption that the source and the target data share exactly the same classes of objects. In this paper, we tackle a more realistic problem of open-set domain shift where the target data contains additional classes that are not present in the source data. More specifically, we introduce an end-to-end Progressive Graph Learning (PGL) framework where a graph neural network with episodic training is integrated to suppress underlying conditional shift and adversarial learning is adopted to close the gap between the source and target distributions. Compared to the existing open-set adaptation approaches, our approach guarantees to achieve a tighter upper bound of the target error. Extensive experiments on three standard open-set benchmarks evidence that our approach significantly outperforms the state-of-the-arts in open-set domain adaptation.

研究の動機と目的

• ターゲットデータにSourceで見られない未知クラスが含まれるオープンセットドメイン適応の動機付け。
• progressive学習の枠組みの下で、ソースリスク、ドメイン差異、オープンセットリスクをエンドツーエンドで最小化する。
• サンプルレベルと多様体レベルの条件シフトに対処するためにグラフニューラルネットワークとエピソディック訓練を組み込む。
• 進行的アプローチによってターゲット誤差をより厳しく抑える理論的境界の洞察を提供する。

提案手法

• 仮説空間を共有（既知）サブスペースと未知サブスペースに分解し、ソースデータの誤分類を低減する。
• 進行的学習を採用して低信頼度のターゲットサンプルを徐々に偽ラベル付き既知と未知に変換し、ネガティブトランスファーを緩和する。
• エピソディック訓練とトランダクティブ設定を用いてエピソード内でソースデータを偽ラベル付きターゲットデータに置換して条件分布を整合させる。
• backbone特徴の上にグラフニューラルネットワークを構築し、同一クラスのソースと偽ラベル付きターゲットノードを結ぶことでクラス特異的多様体を学習する。
• 既知クラスの周辺分布ギャップを最小化する対抗的ドメイン識別器を組み込む。
• ノード分類損失、エッジ分類損失、対抗損失をバランスさせる共通目的関数で訓練する（係数を指定）。
• 偽ラベルとエピソードをMステップにわたって Progressively 更新し、拡大係数alphaとオープンネスパラメータbetaで制御する。

実験結果

リサーチクエスチョン

• RQ1 未知のターゲットクラスを考慮したオープンセットドメイン適応を理論的にどのように境界づけできるか。
• RQ2 Progressiveかつグラフベースの枠組みは、従来のOUDA手法より条件シフトとドメイン差異をより効果的に低減できるか。
• RQ3 エピソディックでトランダクティブなGNNベース学習は共有クラス表現を改善しネガティブトランスファーを緩和するか。
• RQ4 既知と未知サンプルの偽ラベリングがターゲットリスクや全体性能に与える影響はどの程度か。

主な発見

• PGL は Office-Home、Syn2Real-O、VisDA-17 のベンチマークで最先端のオープンセットドメイン適応法を一貫して上回る。
• 進行的偽ラベリングとGNNを用いた多様体学習は、データセット全体でOS*（既知クラス正規化精度）に顕著な成績向上をもたらす。
• アブレーション研究により、進行的ラベリング、GNN、ミックスアップ戦略の欠如が性能を低下させることが示され、各要素の重要性を裏付ける。
• この枠組みは開放性への頑健性と、損失係数および拡大係数alphaに対する感度特性を有利にする。
• データセット全体で、PGLはOSおよびOS*指標でOSBP、STA、ATI-λ、MMD、DANNといったベースラインと比べて大幅な改善を達成する。