[論文レビュー] Transfer Adaptation Learning: A Decade Survey

Lei Zhang, Xinbo Gao|arXiv (Cornell University)|Mar 12, 2019

Domain Adaptation and Few-Shot Learning被引用数 65

ひとこと要約

この調査は転移学習とドメイン適応を転移適応学習（TAL）として統合し、過去10年間の5つの主要な適応メカニズム、課題、将来の方向性をレビューする。

ABSTRACT

The world we see is ever-changing and it always changes with people, things, and the environment. Domain is referred to as the state of the world at a certain moment. A research problem is characterized as transfer adaptation learning (TAL) when it needs knowledge correspondence between different moments/domains. Conventional machine learning aims to find a model with the minimum expected risk on test data by minimizing the regularized empirical risk on the training data, which, however, supposes that the training and test data share similar joint probability distribution. TAL aims to build models that can perform tasks of target domain by learning knowledge from a semantic related but distribution different source domain. It is an energetic research filed of increasing influence and importance, which is presenting a blowout publication trend. This paper surveys the advances of TAL methodologies in the past decade, and the technical challenges and essential problems of TAL have been observed and discussed with deep insights and new perspectives. Broader solutions of transfer adaptation learning being created by researchers are identified, i.e., instance re-weighting adaptation, feature adaptation, classifier adaptation, deep network adaptation and adversarial adaptation, which are beyond the early semi-supervised and unsupervised split. The survey helps researchers rapidly but comprehensively understand and identify the research foundation, research status, theoretical limitations, future challenges and under-studied issues (universality, interpretability, and credibility) to be broken in the field toward universal representation and safe applications in open-world scenarios.

研究の動機と目的

• 転移適応学習（TAL）を、転移学習とドメイン適応の統一的な視点として定義する。
• 主なTAL手法を特定し、それらがどのようにドメイン間の分布シフトに対応するかを明らかにする。
• 普遍的表現と安全なオープンワールドアプリケーションのための理論的考慮、課題、および将来の方向性を論じる。

提案手法

• インスタンス再重み付け、特徴適応、分類器適応、深層ネットワーク適応、対向的適応を含むTAL分類体系を提案する。
• 弱教師付き学習の視点と、SSL、AL、ZSL、OSR が TAL にどのように関連するかを論じる。
• 各TALカテゴリ内で、分布の差異最小化やドメイン整合性などのコアな方法論的機構を提示する。

実験結果

リサーチクエスチョン

• RQ1 ドメインを越えた知識移転に対処する中心的なTALパラダイムは何か？
• RQ2 さまざまなTALアプローチは、ソースドメインとターゲットドメイン間の分布差をどのように緩和するか？
• RQ3 普遍的なTAL表現とオープンワールドの信頼性に関する未解決の課題と今後の方向性は何か？

主な発見

• TALフレームワークは、ターゲットリスクを制約するために、ソースリスク、ドメイン差異、および結合誤差の組み合わせを最小化することを目指す。
• 5つの主要なTALカテゴリが特定される：インスタンス再重み付け、特徴適応、分類器適応、深層ネットワーク適応、対向的適応。
• 深層学習はTALで主要となっており、ファインチューニングと対向戦略がコア手法として強調される。
• オープンセットと部分ドメイン設定は、従来のクローズドセットDAの仮定を超える拡張として議論される。
• 本調査は、普遍性、解釈可能性、信頼性を、普遍的なTAL表現の主要な未解決課題として強調している。