[論文レビュー] Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation

Ruijia Xu, Guanbin Li+2 more|arXiv (Cornell University)|Nov 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 45

ひとこと要約

本論文は逐次的に特徴ノルムを拡張する適応特徴ノルム（AFN）手法を提案し、追加のハイパーパラメータなしで SAFN がいくつかのベンチマークで新たな最先端を達成することを示す。

ABSTRACT

Domain adaptation enables the learner to safely generalize into novel environments by mitigating domain shifts across distributions. Previous works may not effectively uncover the underlying reasons that would lead to the drastic model degradation on the target task. In this paper, we empirically reveal that the erratic discrimination of the target domain mainly stems from its much smaller feature norms with respect to that of the source domain. To this end, we propose a novel parameter-free Adaptive Feature Norm approach. We demonstrate that progressively adapting the feature norms of the two domains to a large range of values can result in significant transfer gains, implying that those task-specific features with larger norms are more transferable. Our method successfully unifies the computation of both standard and partial domain adaptation with more robustness against the negative transfer issue. Without bells and whistles but a few lines of code, our method substantially lifts the performance on the target task and exceeds state-of-the-arts by a large margin (11.5% on Office-Home and 17.1% on VisDA2017). We hope our simple yet effective approach will shed some light on the future research of transfer learning. Code is available at https://github.com/jihanyang/AFN.

研究の動機と目的

• ドメイン移行における特徴ノルムの役割とソース/ターゲットドメイン間のモデル劣化を明らかにする。
• 特徴ノルムを適応させて転送性を改善するパラメータフリーフ AFN フレームワークを提案する。
• 素朴なドメイン適応と部分的ドメイン適応を頑健で単純なノルム適応機構の下に統一する。
• 軽量でパラメータフリーなアプローチで複数の視覚的DAベンチマークにおいて最先端の性能を示す。

提案手法

• ソースドメインとターゲットドメイン間の平均特徴ノームの差を測る MMFND を定義する。
• 平均特徴ノームを共有スカラー R に整列させ、R への L2 距離を最小化するハード AFN (HAFN) を提案する。
• サンプルごとにステップサイズ Delta r を用いて特徴ノームを逐次拡張するステップワイズ AFN (SAFN) を導入する。
• ソース分類損失と特徴ノームのペナルティを組み合わせた統一最適化目的を提供する。
• 評価プロトコル（CNG、ONG、PNG）を通じて部分的DAやネガティブ転送に頑健に対処するようフレームワークを拡張する。
• 課題を越えてロバスト性を示すため、固定ハイパーパラメータのパラメータフリー設定を使用する。

実験結果

リサーチクエスチョン

• RQ1 UDA におけるターゲット領域の判別失敗を平均特徴ノームで説明できるか、ターゲット特徴を拡張することで転送が改善されるか。
• RQ2 特徴ノームを整列させることと逐次拡張することは、伝統的な分布整合より転送を向上させるか。
• RQ3 素朴なDAと部分的DAの設定はノルム適応アプローチで実質的に統一され、手法はネガティブ転送に対して頑健か。
• RQ4 AFN のバリアント (HAFN と SAFN) が Office-Home や VisDA2017 のようなベンチマークに与える影響はどの程度か。

主な発見

• SAFN および HAFN は vanilla DA 設定の下で Office-Home（等）および VisDA2017 で最先端の方法を上回る。
• SAFN は ResNet-101 とともに VisDA2017 で最大 67.3% の平均を達成し、ドメイン別の利益も大きい。
• 部分的DA の下で SAFN および SAFN+ENT 変種はベースラインより大幅な改善を示す（例：Office-Home で 11.5%、VisDA2017 で 17.1%）。
• 手法はパラメータフリーで軽量ながら、タスク間で一貫した利得をもたらし、ソース外れクラスに対して頑健。
• ネガティブ転送プロトコルは SAFN が他手法と比較してネガティブ転送効果を最小化することを示す。
• 特徴可視化は適応後にターゲット特徴が小さなノーム領域から大きなノームのクラスターへとずれ、より適切に整列することを示す。