[論文レビュー] A Hybrid Instance-based Transfer Learning Method

Azin Asgarian, Parinaz Sobhani+5 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 7

ひとこと要約

本論文は、複数のソースドメインからの知識を確率的重み付け戦略で統合することで、データが乏しい医療応用におけるモデルの汎化性能を向上させるハイブリッドインスタンスベースの転移学習手法を提案する。この手法は、顔の感情認識および怪我予測のタスクにおいて、最先端のベースラインを上回り、F1スコアと収束速度の面で顕著な向上を示すとともに、ネガティブな転移に対して耐性を示す。

ABSTRACT

In recent years, supervised machine learning models have demonstrated tremendous success in a variety of application domains. Despite the promising results, these successful models are data hungry and their performance relies heavily on the size of training data. However, in many healthcare applications it is difficult to collect sufficiently large training datasets. Transfer learning can help overcome this issue by transferring the knowledge from readily available datasets (source) to a new dataset (target). In this work, we propose a hybrid instance-based transfer learning method that outperforms a set of baselines including state-of-the-art instance-based transfer learning approaches. Our method uses a probabilistic weighting strategy to fuse information from the source domain to the model learned in the target domain. Our method is generic, applicable to multiple source domains, and robust with respect to negative transfer. We demonstrate the effectiveness of our approach through extensive experiments for two different applications.

研究の動機と目的

• 医療応用において、十分なデータを収集することが難しいという、限られたラベル付きトレーニングデータの課題に対処すること。
• 容易に入手可能なソースドメインから知識を転移することで、データが乏しいターゲットドメインにおけるモデルの汎化性能を向上させること。
• 複数のソースドメインに対応可能で、ネガティブな転移に対して耐性のある、堅牢で汎用的な転移学習手法の開発。
• 非構造化データ（顔の感情認識）および構造化データ（怪我予測）の両設定において、既存のインスタンスベースの転移学習手法を上回ること。
• 実世界のデータセットを用いた多様な医療応用において、有効性を実証すること。

提案手法

• 本手法は、ターゲットドメインとの類似性と、ソースサンプルがターゲットタスクにおいてどれほど有効であるかを組み合わせたハイブリッド重み付け戦略を用いる。
• 重要度サンプリングの原則を適用し、期待誤差をターゲットドメイン損失とソースドメイン損失の重み付き組み合わせとしてモデル化する。
• コアとなる式（式2）は、ターゲット誤差とソース誤差の重み付き和を最小化するもので、ソースの重みはターゲットとソースの確率密度比から導出される。
• ハードディシジョンではなくソフト重み付けを用いることで、関連性と有用性に応じてソースサンプルの影響を段階的に調整できる。
• 本手法は汎用的であり、複数のソースドメインをサポートし、全体的なターゲットとソースの寄与度のバランスを制御するハイパーパrameter α を備える。
• 本手法は、構造化データにはXGBoost、非構造化データにはディープラーニングを用いて評価され、F1スコア、正答率、収束速度を指標として性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータの医療応用において、既存のベースラインと比較して、ハイブリッドインスタンスベースの転移学習手法がモデル性能を向上させることができるか？
• RQ2 提案された確率的重み付け戦略は、顔の感情認識における収束性と適合精度にどのように影響するか？
• RQ3 不均衡で現実世界のデータセットを対象とした怪我予測において、複数のソースドメインからの知識を効果的に統合できるか？
• RQ4 ソースドメインとターゲットドメインが著しく異なる場合、本手法はネガティブな転移に対してどれほど耐性を示すか？
• RQ5 ハイパーパrameter α がターゲットドメインとソースドメインの寄与度の最適バランスをどのように制御するか？

主な発見

• 顔の感情認識において、提案されたハイブリッドモデル（A_HW）は、収束速度は高くても適合誤差が著しく低いターゲット専用モデル（A_T）を上回った。
• ハイブリッドモデルは、収束は改善されたが適合精度がA_Tよりも悪いインスタンス重みベースライン（A_Jena）を上回った。
• 怪我予測において、ハイブリッドモデル（A_HW）はF1スコア0.12を達成し、ターゲット専用モデル（A_T）のF1スコア0.06およびソース専用モデル（A_S）のF1スコア0.07を顕著に上回った。
• ハイブリッドモデルはF1スコアの向上を実現しながらも、97％の高い分類正答率を維持し、F1スコア0.08のユニオンモデル（A_S∪T）を上回った。
• モデル分析の結果、A_HWは38個の特徴量のうち23個を活用しており、そのうちA_Tが使用しなかった追加の10個の特徴量も含むことが判明し、データが乏しい状況下での特徴量の有効活用が図られていることが示された。
• ハイブリッドモデルの最適なハイパーパrameter α は0.7〜0.9の範囲にあり、αを増加または減少させると性能が低下した。