[論文レビュー] Selective Transfer with Reinforced Transfer Network for Partial Domain Adaptation

Zhihong Chen, Chao Chen+4 more|arXiv (Cornell University)|May 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 5

ひとこと要約

本論文は、高レベル特徴とピクセル単位の再構成誤差の両方を基に、外れ値のソースサンプルを選択的にフィルタリングする強化学習を活用する部分的ドメイン適応のための強化された転送ネットワーク（RTNet）を提案する。再構成誤差を報酬として、ターゲットジェネレータ上で動作する強化されたデータセレクタ（RDS）を統合することで、RTNetは負のトランスファーを最小限に抑え、共有ラベル空間におけるアライメントを向上させ、最先端の性能を達成する。

ABSTRACT

One crucial aspect of partial domain adaptation (PDA) is how to select the relevant source samples in the shared classes for knowledge transfer. Previous PDA methods tackle this problem by re-weighting the source samples based on their high-level information (deep features). However, since the domain shift between source and target domains, only using the deep features for sample selection is defective. We argue that it is more reasonable to additionally exploit the pixel-level information for PDA problem, as the appearance difference between outlier source classes and target classes is significantly large. In this paper, we propose a reinforced transfer network (RTNet), which utilizes both high-level and pixel-level information for PDA problem. Our RTNet is composed of a reinforced data selector (RDS) based on reinforcement learning (RL), which filters out the outlier source samples, and a domain adaptation model which minimizes the domain discrepancy in the shared label space. Specifically, in the RDS, we design a novel reward based on the reconstruct errors of selected source samples on the target generator, which introduces the pixel-level information to guide the learning of RDS. Besides, we develope a state containing high-level information, which used by the RDS for sample selection. The proposed RDS is a general module, which can be easily integrated into existing DA models to make them fit the PDA situation. Extensive experiments indicate that RTNet can achieve state-of-the-art performance for PDA tasks on several benchmark datasets.

研究の動機と目的

• 外れ値クラスからの不一致したソースサンプルが引き起こす部分的ドメイン適応（PDA）における負のトランスファーを解消すること。
• 高レベルのディープ特徴とピクセル単位の外観情報の両方を組み合わせることで、PDAにおけるサンプル選択を改善すること。
• さまざまなドメイン適応モデルに統合可能な汎用的でエンドツーエンドのフレームワークを開発すること。
• 敵対的識別器に依存せずに負のトランスファーを軽減することにより、非敵対的DA手法と互換性を持つこと。

提案手法

• アクター・クリティック強化学習を用いてトレーニングされる強化されたデータセレクタ（RDS）が、各ソースサンプルを保持するかドロップするかを決定する。
• RDSは意思決定に使用するための深層特徴を含む状態ベクトルと、選択されたサンプルのターゲットジェネレータにおける再構成誤差に基づく報酬信号を用いる。
• ピクセル単位の情報は、再構成誤差を通じて統合され、外れ値サンプルはターゲットドメインデータと類似性が低いことから、より高い再構成誤差を示す。
• RDSはプラグインモジュールとして設計されており、CORAL や敵対的DAなどの既存のドメイン適応モデルへの統合が可能である。
• 報酬関数は、ターゲットドメインと視覚的に類似したソースサンプルの選択を促進し、共有クラスにおけるドメインの不一致を低減する。
• 本手法は、サンプル選択と共有ラベル空間におけるドメインアライメントを同時に最適化することで、負のトランスファーを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 高レベル特徴とピクセル単位の情報の両方を活用することで、強化学習を用いて部分的ドメイン適応における関連するソースサンプルを選択することができるか？
• RQ2 ターゲットジェネレータからの再構成誤差を組み込むことで、ディープ特徴のみに依存する場合と比較して、サンプル選択がどのように向上するか？
• RQ3 提案されたRDSモジュールは、非敵対的モデルを含むさまざまなドメイン適応モデルに一般化可能か？
• RQ4 外れ値クラスが存在する状況で、本手法は負のトランスファーをどの程度低減できるか？
• RQ5 ラベル空間が完全に一致する場合でも、本手法はノイズに対して頑健であるか、性能を維持できるか？

主な発見

• RTNetは、SVHN→MNIST や Office-31 を含む複数のベンチマークデータセットで最先端の性能を達成した。
• SVHN→MNIST5 タスクにおいて、RTNetはターゲットと選択されたソースサンプル間のワルシャープ距離を、全ソースの場合の 0.2574 から 0.1645 にまで低下させ、より良いドメインアライメントを示した。
• 外観の違いが大きいクラス（例：5, 6, 8）からのソースサンプルの 92% がフィルタリングされた一方、視覚的に類似した外れ値（例：7, 9）の 72% がフィルタリングされた。
• 共有クラスでは、平均で 8.2% のサンプルしか誤ってフィルタリングされず、関連するサンプルを保持する高精度を示した。
• A31→W31 タスクにおいて、外れ値クラスが存在しない状況でも、RTNetはCORALを上回った。これは、ノイズの多いサンプル（例：ラベルと画像が一致しない画像）を効果的にフィルタリングできることを示している。
• 事例研究により、RDSがラベルと画像の不一致（例：マウスがキーボードとしてラベル付けされたもの）を持つノイズの多いサンプルを効果的に同定・削除できていることが確認された。