[論文レビュー] OTCE: A Transferability Metric for Cross-Domain Cross-Task Representations

Tan Yang, Yang Li+1 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 4

ひとこと要約

本稿では、クロスドメイン・クロスタスク教師あり分類のための新規分析的転移性メトリクスであるOTCEを提案する。OTCEは、最適輸送によるドメイン差のモデリングと、条件付きエントロピーによるタスク差のモデリングを統合することで、転移性能を定量化する。OTCEは、DomainNetおよびOffice31において、最先端手法と比較して、真の転移精度との相関で平均21%の向上を達成し、効率的なソースモデル選定と重み付きマルチソース特徴抽出を可能にする。

ABSTRACT

Transfer learning across heterogeneous data distributions (a.k.a. domains) and distinct tasks is a more general and challenging problem than conventional transfer learning, where either domains or tasks are assumed to be the same. While neural network based feature transfer is widely used in transfer learning applications, finding the optimal transfer strategy still requires time-consuming experiments and domain knowledge. We propose a transferability metric called Optimal Transport based Conditional Entropy (OTCE), to analytically predict the transfer performance for supervised classification tasks in such cross-domain and cross-task feature transfer settings. Our OTCE score characterizes transferability as a combination of domain difference and task difference, and explicitly evaluates them from data in a unified framework. Specifically, we use optimal transport to estimate domain difference and the optimal coupling between source and target distributions, which is then used to derive the conditional entropy of the target task (task difference). Experiments on the largest cross-domain dataset DomainNet and Office31 demonstrate that OTCE shows an average of 21% gain in the correlation with the ground truth transfer accuracy compared to state-of-the-art methods. We also investigate two applications of the OTCE score including source model selection and multi-source feature fusion.

研究の動機と目的

• ドメインとタスクの両方の差が転移性を低下させる、クロスドメイン・クロスタスク転移学習における転移性能予測の課題に対処すること。
• 高価なソースモデルの再訓練を回避する、分析的で効率的かつ解釈可能なメトリクスの開発。
• ドメインシフトとタスクシフトのモデリングを統合的に1つのフレームワークで統合し、転移性推定の向上を図ること。
• 転移性スコアを用いた実用的応用、例えばソースモデル選定やマルチソース特徴抽出の重み付け統合を可能にすること。

提案手法

• ソースとターゲットのデータ分布間の最適輸送による計算で得られるワッサーシュタイン距離を用いて、ドメイン差をモデル化する。
• 最適輸送解を介してソースとターゲットのサンプル間の結合確率を推定し、条件付きエントロピーをタスク差の指標として導出する。
• ドメイン差とタスク差の線形結合として転移性を定式化し、補助タスク上で最小二乗法によるフィッティングで学習する。
• 学習済み線形モデルを用いて、再訓練なしにドメイン差とタスク差から転移精度を予測する。
• 複数のソースモデルのOTCEスコアを正規化し、マルチソース特徴抽出の重みを生成する。
• 2つの応用にメトリクスを適用：ソースモデル選定と重み付き特徴抽出の統合。DomainNetおよびOffice31で検証。

実験結果

リサーチクエスチョン

• RQ1 ドメイン差とタスク差が共に存在するクロスドメイン・クロスタスク転移学習設定において、どのようにして転移性を正確に予測できるか？
• RQ2 再訓練なしにソースモデルを再学習せずに、分析的メトリクスが、経験的またはヒューリスティックなメトリクスを上回って転移性能を予測できるか？
• RQ3 ドメイン差とタスク差がどのように統合的に転移性に影響を与えるか？ また、それらを統一されたフレームワークでモデリングできるか？
• RQ4 実際の応用において、OTCEスコアはソースモデル選定やマルチソース特徴抽出の重み付け統合を効果的に支援できるか？

主な発見

• OTCEは、DomainNetおよびOffice31のデータセットにおいて、最先端のメトリクスと比較して、真の転移精度との相関で平均21%高い性能を達成した。
• DomainNetでは、OTCEはL EEとNCEを上回り、ターゲットドメイン全体で平均86.4%の精度を達成したソースモデル選定に成功した。
• OTCEスコアで重み付けされた特徴抽出は、平均値による統合や自己学習ベースラインを常に上回り、ターゲットタスクにおける一般化性能の向上を示した。
• 補助タスクを用いたモデル係数の学習により、わずかな補助例でもOTCEの真の転移性との相関が著しく向上した。
• OTCEは多様なドメインシフトに対して強固な性能を維持し、特定のデータ分布を超えた強い一般化性能を示した。
• OTCEによる転移性のドメイン差とタスク差への分解は、転移学習のダイナミクスに関する解釈可能なインサイトを提供した。