[論文レビュー] Domain Independent SVM for Transfer Learning in Brain Decoding

Shuo Zhou, Wenwen Li+2 more|arXiv (Cornell University)|Mar 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 6

ひとこと要約

本稿では、脳状態解釈のための新しい転移学習手法であるドメイン独立SVM（DI-SVM）を提案する。この手法は、簡略化されたヒルバート・シュミット独立基準（HSIC）を用いて、SVMの経験的リスクとドメイン固有要因（例：実験設計、被験者ID）への依存度の両方を最小化する。DI-SVMは、複数のソースを用いた転移学習タスクにおいて、競合手法と比較して24%以上の高い精度を達成し、被験者や実験パラダイムが異なる多様な脳画像データを効果的に活用できることを示している。

ABSTRACT

Brain imaging data are important in brain sciences yet expensive to obtain, with big volume (i.e., large p) but small sample size (i.e., small n). To tackle this problem, transfer learning is a promising direction that leverages source data to improve performance on related, target data. Most transfer learning methods focus on minimizing data distribution mismatch. However, a big challenge in brain imaging is the large domain discrepancies in cognitive experiment designs and subject-specific structures and functions. A recent transfer learning approach minimizes domain dependence to learn common features across domains, via the Hilbert-Schmidt Independence Criterion (HSIC). Inspired by this method, we propose a new Domain Independent Support Vector Machine (DI-SVM) for transfer learning in brain condition decoding. Specifically, DI-SVM simultaneously minimizes the SVM empirical risk and the dependence on domain information via a simplified HSIC. We use public data to construct 13 transfer learning tasks in brain decoding, including three interesting multi-source transfer tasks. Experiments show that DI-SVM's superior performance over eight competing methods on these tasks, particularly an improvement of more than 24% on multi-source transfer tasks.

研究の動機と目的

• 神経画像研究における小標本サイズと高次元脳画像データの課題に対処すること。
• 異なる被験者や実験設計といった異種ドメイン間で転移学習を活用することで、脳状態解釈のパフォーマンスを向上させること。
• ドメイン固有特徴への依存を最小化することで、多様な脳画像データセットに一般化可能なドメイン独立分類器を開発すること。
• 公的神経画像リポジトリから抽出した13の転移学習タスクを用いた包括的な評価を通じて、ドメイン独立性の有効性を検証すること。

提案手法

• DI-SVMは、標準的なSVMの経験的リスクと、補助的ドメイン情報（例：被験者ID、実験タイプ）への依存度を示す簡略化されたHSICに基づく測度を同時に最適化する。
• ドメイン情報はワンホットベクトルで符号化され、特徴量とドメインラベル間の統計的依存度を測定する簡略化されたHSICの計算に使用される。
• 分類精度とドメイン独立性のバランスを取るために、ハイパーパrameter λ で制御される正則化項が導入される。
• 線形またはカーネル化されたSVMが、組み合わせた目的関数に基づいて学習され、分類に有用な特徴とドメインシフトに対して不変な特徴を同時に学習可能になる。
• 本手法は、OpenNeuroとHCPの実際のfMRIデータを用いて、13の転移学習タスク（複数ソース設定を含む）で評価された。
• C（正則化）とλ（ドメイン依存性重み）のハイパーパrameter感度分析を行い、λ > 0 の場合に安定した性能と向上した一般化性能が得られることを示した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有要因への依存度を明示的に最小化する転移学習手法は、異種データセット間で脳状態解釈のパフォーマンスを向上させることができるか？
• RQ2 DI-SVMは、単一ソースおよび複数ソースの脳解釈タスクにおいて、最先端の転移学習手法と比較してどのように差をつけるか？
• RQ3 複数のソースドメインを同時に組み合わせることで、単一ソースよりもパフォーマンスが向上するのか、特にドメインの差が大きい場合に有効か？
• RQ4 小標本サイズの状況下で、C や λ といった主要なハイパーパrameter の変化に対して、DI-SVM のパフォーマンスはどれほど感度を示すか？
• RQ5 訓練データが異なる被験者や実験設計から得られる場合、HSICで測定されるドメイン独立性は、一般化性能をどの程度向上させるか？

主な発見

• DI-SVMは、13のすべての転移学習タスクで、TCA、JDA、MIDA など8つの競合手法を上回る最高の全体精度を達成した。
• 複数ソース転移タスクでは、次に優れた手法と比較して24%以上の性能向上を示し、複数のソースを効果的に活用できる強みが顕著に現れた。
• 最も優れたバリエーションである線形カーネルを用いたDI-SVMは、最も挑戦的な複数ソースタスク（A&C → B）で91.6%の精度を達成し、2番目に優れた手法（MIDA）の65.4%を大きく上回った。
• DI-SVMはハイパーパrameterの変化に対して頑健であり、λ > 0 の間は分類精度が安定した。一方、λ = 0（標準SVMと同等）の場合は性能が著しく低下した。
• HSICに基づく手法（MIDA や DI-SVM）は、非HSIC手法を常に上回り、脳解釈においてドメイン依存性の低減が有効であることを確認した。
• ソース選択はパフォーマンスに顕著な影響を与えたが、複数ソース転移が常に精度向上をもたらすとは限らなかった。しかし、DI-SVMはあらゆる構成で最高の結果を達成しており、その頑健性を裏付けた。