[論文レビュー] XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup

Xingjian Li, Haoyi Xiong+3 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 7

ひとこと要約

XMixupは、mixup技術を用いて、ソースドメインからの意味的に整合した補助サンプルとターゲットドメインのサンプルを混合することで、深層ニューラルネットワークの性能を向上させる、革新的で効率的な転移学習手法を提案する。ファインチューニング中にクロスドメインのサンプルを組み合わせることで、最先端の手法よりも平均で1.9%の精度向上を達成するとともに、トレーニング時間を短縮し、高コストな中間チューニングステップを回避する。

ABSTRACT

Transferring knowledge from large source datasets is an effective way to fine-tune the deep neural networks of the target task with a small sample size. A great number of algorithms have been proposed to facilitate deep transfer learning, and these techniques could be generally categorized into two groups - Regularized Learning of the target task using models that have been pre-trained from source datasets, and Multitask Learning with both source and target datasets to train a shared backbone neural network. In this work, we aim to improve the multitask paradigm for deep transfer learning via Cross-domain Mixup (XMixup). While the existing multitask learning algorithms need to run backpropagation over both the source and target datasets and usually consume a higher gradient complexity, XMixup transfers the knowledge from source to target tasks more efficiently: for every class of the target task, XMixup selects the auxiliary samples from the source dataset and augments training samples via the simple mixup strategy. We evaluate XMixup over six real world transfer learning datasets. Experiment results show that XMixup improves the accuracy by 1.9% on average. Compared with other state-of-the-art transfer learning approaches, XMixup costs much less training time while still obtains higher accuracy.

研究の動機と目的

• ソースドメインとターゲットドメインの知識をより効果的に統合することで、転移学習における深刻な忘却（catastrophic forgetting）と負の転送（negative transfer）を緩和すること。
• ソースデータに対する明示的な中間チューニングや追加のバックプロパゲーションを不要にすることで、マルチタスク転移学習の計算コストを低減すること。
• 単一のファインチューニングパスでのみ動作する、軽量で効率的な手法を開発し、モデルの一般化性能を向上させること。
• 低データの転移学習環境において、クロスドメインの混合が標準的なデータ拡張よりも優れているかどうかを調査すること。

提案手法

• XMixupは、ターゲットデータセットの各クラスと意味的に整合するソースデータセットからの補助サンプルを選択する。
• 各ターゲットクラスに対して、Beta分布（パラメータα）を用いて、ターゲットクラスの画像とその対応するソースクラスの画像を線形補間することで、混合されたトレーニングサンプルを作成する。
• 混合データを用いて、別個の事前学習や中間チューニングステップを回避する、エンドツーエンドの1回のトレーニングパスでモデルをファインチューニングする。
• 両方のソースおよびターゲットラベルをミックスアップ中に使用することで、教師ありの混合を通じてソースドメインの知識を活用する。
• Beta分布のβは固定値1を採用し、αを変化させることで、ソースとターゲットサンプル間の混合重みを制御する。
• ハイパーパramータの選択や補助サンプル選択戦略に対して頑健であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 クロスドメインのミックスアップは、標準的なデータ拡張や単独のファインチューニングに比べ、転移学習の性能向上により効果的であるか？
• RQ2 ミックスアップによるソースドメイン知識の統合は、ターゲットデータ拡張に依存する手法よりも優れた一般化性能をもたらすか？
• RQ3 XMixupは混合ハイパーパramータαの選択にどれほど敏感であり、異なるドメイン類似度に対して最適な範囲は何か？
• RQ4 XMixupの有効性はクロスドメインの混合に起因しているのか、それともターゲットデータのみを用いたインドメインのミックスアップでも同様の効果が得られるか？
• RQ5 補助サンプルのラベル情報が、XMixupの性能向上にどの程度寄与しているか？

主な発見

• XMixupは、6つの実世界の転移学習データセットにおいて、最先端の手法と比較して平均で1.9%の分類精度向上を達成した。
• SOTAアプローチよりも高い精度を達成しながらも、顕著に短いトレーニング時間を要し、優れた効率性を示した。
• αの値の変動にかかわらず性能が安定しており、ハイパーパramータチューニングに対して低感度であることが示された。
• クロスドメインの混合を除去（つまり、インドメインのミックスアップのみに限定）した場合、平均で2.7%の精度低下が生じた。これにより、クロスドメインの混合が不可欠であることが証明された。
• 補助サンプルのラベルを除去した場合、平均で5.2%の性能低下が生じた。これにより、ソースドメインの知識がXMixupの成功に不可欠であることが確認された。
• 補助サンプルの選択方法の変更（例えば、ソースデータセットからのランダムサンプリング）に対してもXMixupの性能は安定しており、強力な一般化能力を示している。