[論文レビュー] Gap Minimization for Knowledge Sharing and Transfer

Boyu Wang, Jorge M. Méndez+6 more|arXiv (Cornell University)|Jan 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、転移学習およびマルチタスク学習におけるタスク類似度を、データおよびアルゴリズムに依存する新たな測度として性能ギャップを導入し、一般化境界をタイトに保証する正則化項として位置づける。著者らはギャップ最小化を統一的原則として提案し、2つのアルゴリズム—ギャップブースト（ブースティングベースの転移学習用）およびギャップMTNN（表現学習用）—を実装しており、PACS、Office-31、Office-Homeといった標準ベンチマークで、既存のベースラインを上回る性能を発揮している。

ABSTRACT

Learning from multiple related tasks by knowledge sharing and transfer has become increasingly relevant over the last two decades. In order to successfully transfer information from one task to another, it is critical to understand the similarities and differences between the domains. In this paper, we introduce the notion of \emph{performance gap}, an intuitive and novel measure of the distance between learning tasks. Unlike existing measures which are used as tools to bound the difference of expected risks between tasks (e.g., $\mathcal{H}$-divergence or discrepancy distance), we theoretically show that the performance gap can be viewed as a data- and algorithm-dependent regularizer, which controls the model complexity and leads to finer guarantees. More importantly, it also provides new insights and motivates a novel principle for designing strategies for knowledge sharing and transfer: gap minimization. We instantiate this principle with two algorithms: 1. gapBoost, a novel and principled boosting algorithm that explicitly minimizes the performance gap between source and target domains for transfer learning; and 2. gapMTNN, a representation learning algorithm that reformulates gap minimization as semantic conditional matching for multitask learning. Our extensive evaluation on both transfer learning and multitask learning benchmark data sets shows that our methods outperform existing baselines.

研究の動機と目的

• 転移学習およびマルチタスク学習において、ラベル付きデータを活用する有効なタスク類似度測定法の欠如に対処すること。
• モデルの複雑さと一般化誤差をタスクの乖離と結びつける統一的理論枠組みの構築。
• タスク間の性能ギャップを最小化することに基づく、新たな知識共有戦略の動機付け。
• 性能ギャップをデータおよびアルゴリズム依存の正則化項として扱い、よりタイトな一般化境界を提供すること。
• 性能ギャップを明示的に最小化する新しいアルゴリズム—ギャップブーストおよびギャップMTNN—の設計および評価。

提案手法

• タスク間の乖離を測る指標として性能ギャップを定義し、その定義はタスク間でのモデル性能の期待値の差に依存する。
• 理論的に性能ギャップがデータおよびアルゴリズムに依存する正則化項として機能し、従来の測度（例：H-発散）よりもタイトな一般化境界を導くことを確立。
• 知識共有および転移学習の統一的原則としてギャップ最小化を提案し、転移学習およびマルチタスク学習の両方に適用可能。
• ソースドメインとターゲットドメイン間の性能ギャップを明示的に最小化するブースティングアルゴリズムであるギャップブーストを構築。
• ギャップ最小化を意味的条件付きマッチングとして再定式化した表現学習モデルであるギャップMTNNを設計。
• アルゴリズムの安定性解析を用いて提案手法の一般化特性を正当化し、性能ギャップ項とマージナルアライメント項を組み込んだ損失関数を採用。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータを活用し、知識転送を向上させるタスク類似度の測定法は何か？
• RQ2 性能ギャップは、転移学習およびマルチタスク学習において、よりタイトな一般化境界を導く正則化項として機能できるか？
• RQ3 モデルの複雑さ、一般化誤差、および性能ギャップの間には理論的関係があるか？
• RQ4 ギャップ最小化は、知識共有の実用的アルゴリズム的原則としてどのように実装できるか？
• RQ5 ギャップ最小化に基づくアルゴリズムは、転移学習およびマルチタスク学習の設定で、既存のベースラインを上回る性能を発揮するか？

主な発見

• 理論的に性能ギャップがデータおよびアルゴリズムに依存する正則化項として機能し、H-発散などの従来の測度を上回る一般化境界の改善を示した。
• ギャップブーストは、PACS、Office-31、Office-Homeといった転移学習ベンチマークで最先端の性能を達成し、ベースラインと比較して顕著な精度向上を示した。
• ギャップMTNNは、性能ギャップ最小化に従ってガイドされる意味的条件付きマッチングを通じて表現を効果的にアライメントさせることで、既存のマルチタスク学習手法を上回った。
• 提案手法は多様なデータセットにおいて一貫して一般化性能を向上させ、全評価データ分割（10%、15%、20%訓練データ）で改善が観察された。
• 実験的結果から、性能ギャップの最小化は、ラベル情報が利用可能な場合に特に顕著にモデルの安定性と転送可能性を向上させることを示した。
• フレームワーク内でのWasserstein距離の使用により、効果的なドメインアライメントが可能となり、敵対的訓練を用いて距離を効率的に近似した。