[論文レビュー] Label Efficient Learning of Transferable Representations across Domains and Tasks

Zelun Luo, Yuliang Zou+2 more|arXiv (Cornell University)|Nov 30, 2017

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 55

ひとこと要約

限られたラベルで、ドメインに依存しない表現とセマンティック転送を学習する半教師ありフレームワークを提案し、ドメイン間およびタスク間の転移を可能にする。SVHN→MNISTとImageNet→UCF-101で検証。

ABSTRACT

We propose a framework that learns a representation transferable across different domains and tasks in a label efficient manner. Our approach battles domain shift with a domain adversarial loss, and generalizes the embedding to novel task using a metric learning-based approach. Our model is simultaneously optimized on labeled source data and unlabeled or sparsely labeled data in the target domain. Our method shows compelling results on novel classes within a new domain even when only a few labeled examples per class are available, outperforming the prevalent fine-tuning approach. In addition, we demonstrate the effectiveness of our framework on the transfer learning task from image object recognition to video action recognition.

研究の動機と目的

• ラベル空間が異なるドメイン間で転移可能な表現を学習する。
• 半教師ありおよび教師なし信号を通じてターゲットドメインのラベル要件を削減する。
• 多層のドメイン対立損失でソースとターゲットの特徴分布を揃える。
• ラベル集合が重ならない場合のセマンティック転送を有効にする。
• 視覚ドメイン間（画像から動画）およびタスク間（分類からアクション認識）での転移を実証する。

提案手法

• より深い整合性のためのマルチレイヤーなドメイン識別器を用いた、ドメインとセマンティック転送の共同推進。
• 複数のネットワーク層にわたりソースとターゲットの埋め込みを揃えるドメイン対立目的。
• ラベルなしターゲットデータとラベル付きデータの類似性に対するエントロピー最小化を用いたセマンティック転送目的で、ソフトマックス温度制御を含む。
• ラベル空間が異なる場合に情報を転送するためのカテゴリ横断類似性（教師なしおよび教師あり成分の両方を使用）
• ターゲットデータのラベル付きに対するメトリックベースのクロスエントロピー損失でターゲットドメイン学習を安定化。
• 全体の目的関数は、教師付きターゲット損失、ドメイン転移損失、セマンティック転送損失を調整可能な重みで結合する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きソースドメインから学習した共有埋め込みは、ラベルがほとんどないまたはないターゲットドメインで、重複しないラベル空間にも効果的に転送できるか。
• RQ2 多層ドメイン対立訓練は、単一層アプローチを超えるクロスドメインの整合性を改善するか。
• RQ3 ペアワイズ類似性と温度制御ソフトマックスによるセマンティック転送は、ソースとターゲットのラベル空間が完全には重ならない場合にも転送を可能にするか。
• RQ4 提案フレームワークは、画像から動画へなど、かなり異なるモダリティ間でどれほど転送できるか。
• RQ5 未ラベルのターゲットデータとスパースなターゲットラベルが最終的なターゲット性能に与える影響はどれくらいか。

主な発見

• 提案手法はファインチューニングよりも優れており、特にターゲットのラベル付き例が極めて少ない場合に効果を発揮する。
• 多層ドメイン対立損失は、単一層アプローチよりもターゲット分類の改善と安定した訓練をもたらす。
• 温度パラメータ付きのエントロピー最小化によるセマンティック転送は、重複しないラベル空間でも転送を可能にする。
• 本手法はImageNet画像からUCF-101ビデオアクション認識への転送を可能とし、クロスタスク転送能力を示す。
• 教師なしドメイン適応実験では、多層アプローチが競合するドメイン対立法より高い精度を達成する。