[論文レビュー] A Survey on Negative Transfer

Wen Zhang, Lingfei Deng+2 more|arXiv (Cornell University)|Sep 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 118被引用数 19

ひとこと要約

本論文は、転移学習におけるネガティブ・トランスファー（NT）に関する最初の包括的サーベイを提示し、4つのカテゴリー（セキュア・トランスファー、ドメイン類似度推定、遠隔トランスファー、NT軽減）に分けられた50以上のアプローチを体系的にレビューしている。NTを引き起こす主な要因を特定し、ドメイン類似度に基づいて適切な戦略を選択するためのガイドラインを提供しており、実世界の転移学習応用におけるNTの理解と実践的取り扱いを顕著に進展させている。

ABSTRACT

Transfer learning (TL) utilizes data or knowledge from one or more source domains to facilitate the learning in a target domain. It is particularly useful when the target domain has very few or no labeled data, due to annotation expense, privacy concerns, etc. Unfortunately, the effectiveness of TL is not always guaranteed. Negative transfer (NT), i.e., leveraging source domain data/knowledge undesirably reduces the learning performance in the target domain, has been a long-standing and challenging problem in TL. Various approaches have been proposed in the literature to handle it. However, there does not exist a systematic survey on the formulation of NT, the factors leading to NT, and the algorithms that mitigate NT. This paper fills this gap, by first introducing the definition of NT and its factors, then reviewing about fifty representative approaches for overcoming NT, according to four categories: secure transfer, domain similarity estimation, distant transfer, and NT mitigation. NT in related fields, e.g., multi-task learning, lifelong learning, and adversarial attacks, are also discussed.

研究の動機と目的

• 転移学習における長年の課題であるネガティブ・トランスファー（NT）に対処すること、すなわち、ソースドメインの知識がターゲットドメインのパフォーマンスを損なう現象を解消すること。
• NT軽減のための50件以上の代表的アプローチを体系的にレビューし、既存の文献における重要なギャップを埋めること。
• セキュア・トランスファー、ドメイン類似度推定、遠隔トランスファー、NT軽減の4つの主要戦略に基づいて、NT軽減技術を分類・分析すること。
• 推定されたドメイン類似度に基づいて、トランスファー戦略の選択に役立つ実用的ガイドラインを提供すること。
• 回帰問題、オープンセットのシナリオ、NT要因の理論的診断といった分野における、未解決の課題と今後の研究方向性を同定すること。

提案手法

• 本論文は、その背後にあるメカニズムに基づき、NT軽減アプローチを4つのカテゴリーに分類する：セキュア・トランスファー、ドメイン類似度推定、遠隔トランスファー、NT軽減。
• 移転可能性、ドメインの乖離、データ品質要因を考慮する構造化されたフレームワークを用いて、手法を評価する。
• 特徴適応、モデル適応、 adversarial training、インスタンスレベルの再重み付けなどの技術を分析し、NT低減における有効性を評価する。
• ドメイン類似度、トランスファーアルゴリズム、データ品質を評価基準として、69件の代表的論文に対して比較分析を実施する。
• 理論的および実験的評価を組み合わせ、NTを原則的アプローチで明確に扱っている手法に焦点を当てる。
• 分析から導き出されたガイドラインにより、推定されたドメイン類似度（高、中、低）に基づいた戦略選択を提言する。

実験結果

リサーチクエスチョン

• RQ1 分類タスクにおいて特に顕著なネガティブ・トランスファーの主な原因および関与要因は何ですか？
• RQ2 セキュア・トランスファー、ドメイン類似度推定、遠隔トランスファー、NT軽減の各カテゴリのNT軽減手法は、ドメイン類似度の異なる条件下でどのように性能を発揮しますか？
• RQ3 教師なしドメイン適応や少数ショット学習などのトランスファー学習パラダイムのうち、NTに対して最も脆弱なものは何か、そしてどのようにして安全化できますか？
• RQ4 回帰問題やオープンセット学習のシナリオにおいて、現在のNT軽減手法の主な制限は何ですか？
• RQ5 実世界の応用において、NTを引き起こす正確な要因をどのように診断し、最適な戦略選択を支援できますか？

主な発見

• 現在のNT研究の多くは、NT軽減とドメイン類似度推定に集中しており、データ移転可能性の強化に強く注目している。
• NT軽減アプローチの多くは、主にデータ移転可能性に焦点を当てており、ドメインの乖離、トランスファーアルゴリズム、データ品質要因を組み合わせることが一般的である。
• セキュア・トランスファー戦略は主にモデル適応に基づいているため、より多様なセキュア・トランスファー手法の開発が求められている。
• NT軽減手法の大多数が複数の要因（例：ドメインの乖離、データ品質）を考慮していることから、包括的な軽減戦略への傾向が顕著である。
• 回帰問題におけるNT軽減研究が著しく不足しており、現在の文献における顕著なギャップである。
• 本サーベイは、NT要因の理論的診断がまだ十分に発展していないことを特定しており、特定の応用における根本原因を同定するための新しい実験的および理論的ツールの開発が求められている。