[論文レビュー] All-Transfer Learning for Deep Neural Networks and its Application to Sepsis Classification

Yoshihide Sawada, Yoshikuni Sato+3 more|arXiv (Cornell University)|Nov 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 8

ひとこと要約

本稿では、ソースドメインデータから学習されたラベル関係を活用して、出力層を含むすべてのパラメータを転送する、深層ニューラルネットワーク向けの新しい転移学習手法であるAll-Transfer Deep Learning (ATDL) を提案する。2次元電気泳動（2-DE）画像を用いた敗血症検出への応用において、ATDLは90％を超える精度を達成し、特に極めて小さなターゲットデータセットにおいて従来手法を上回った。また、マハラノビス距離相関を用いたことで、効果的なソースモデル選択が可能となった。

ABSTRACT

In this article, we propose a transfer learning method for deep neural networks (DNNs). Deep learning has been widely used in many applications. However, applying deep learning is problematic when a large amount of training data are not available. One of the conventional methods for solving this problem is transfer learning for DNNs. In the field of image recognition, state-of-the-art transfer learning methods for DNNs re-use parameters trained on source domain data except for the output layer. However, this method may result in poor classification performance when the amount of target domain data is significantly small. To address this problem, we propose a method called All-Transfer Deep Learning, which enables the transfer of all parameters of a DNN. With this method, we can compute the relationship between the source and target labels by the source domain knowledge. We applied our method to actual two-dimensional electrophoresis image~(2-DE image) classification for determining if an individual suffers from sepsis; the first attempt to apply a classification approach to 2-DE images for proteomics, which has attracted considerable attention as an extension beyond genomics. The results suggest that our proposed method outperforms conventional transfer learning methods for DNNs.

研究の動機と目的

• ターゲットドメインのデータが極めて限られている場合（特に100件未満）、深層ニューラルネットワークの分類性能が著しく低下する問題に対処すること。
• 従来の転移学習では通常、最初の層のみを再利用するが、その場合、小さなターゲットデータに対して出力層で過学習のリスクが生じるという制限を克服すること。
• ソースとターゲットのラベルが異なる場合でも、ソースドメインからターゲットドメインへ知識を転送できる手法を開発すること。負の転移を回避することを目的とする。
• データプライバシー制限や計算リソースの制限により、データ共有やモデル学習が制限される臨床現場での実用的導入を可能にすること。
• 2-DE画像を用いたプロテオミクス分野への深層学習の適用可能性と有効性を実証すること。敗血症分類という、バイオメディカルAI分野における新しい応用分野を提示すること。

提案手法

• 事前学習済みDNNのすべての層（出力層を含む）をソースデータに再利用する、教師あり転移学習フレームワークであるAll-Transfer Deep Learning (ATDL) を提案する。
• ソースドメイン知識を用いて、ソースラベルとターゲットラベルのマッピングを符号化するラベル関係ベクトル $\mathbf{r}_l$ を導入し、すべての層に正則化を可能にする。
• 2段階の訓練プロセスを採用する：まず、ソース固有のコスト関数を用いてソースデータ上でDNNを事前学習し、次にターゲット固有のコスト関数を用いてターゲットデータ上で微調整する。この際、$\mathbf{r}_l$ を正則化項として用いる。
• ターゲットラベル関係ベクトル $\mathbf{r}_l$ とソースサブグループ表現との間のマハラノビス距離 $d_m$ を計算し、微調整の前段階で最も関連性の高いソースモデルを選択する。
• MNISTデータからソースドメインのサブグループ $\mathfrak{D}^s_a$ を構築し、sepsisデータにおける下流分類性能と $d_m(a)$ を相関させる。
• 実際のプロテオミクスからの2-DE画像に本手法を適用し、$L=1$ および $D_1=188$ 特徴量を持つDNNを用い、$N^t=49$ 個の敗血症および非敗血症サンプルで学習した。

実験結果

リサーチクエスチョン

• RQ1 出力層を含むすべてのDNNパラメータを転送する手法が、極めて小さなターゲットデータセットにおける分類性能を向上させることができるか？
• RQ2 ソースとターゲットのラベルが異なる場合、ラベル間の関係をどのようにモデル化すれば、効果的な知識転送を実現できるか？
• RQ3 ラベル関係ベクトルとソース表現との間のマハラノビス距離 $d_m$ が、下流分類性能を予測し、効果的なソースモデル選択を支援できるか？
• RQ4 ATDLは、2-DEプロテオミクス画像からの敗血症検出という実世界の医療応用において有効であるか？
• RQ5 部分的なパrameter再利用に依存する従来の転移学習と比較して、ATDLは負の転移や過学習のリスクを低減することができるか？

主な発見

• ATDLは、2-DE画像からの敗血症分類において90％を超える精度を達成し、この種のプロテオミクス画像分類に深層学習を適用した初の成功事例を記録した。
• 特にターゲットデータセットが小さい（$N^t = 49$）状況において、従来の転移学習および非転移学習ベースラインを著しく上回った。
• マハラノビス距離 $d_m$ と分類性能の間に強い正の相関（$R = 0.665$、p値 $< 0.01$）が確認され、$d_m$ が効果的なソースモデル選択を支援できることを示した。
• PPV、NPV、MCC、F1、ACCの複数の指標において、$d_m$ と性能の相関が一貫しており、選択基準の堅牢性が裏付けられた。
• ラベル関係ベクトル $\mathbf{r}_l$ を用いた全層の正則化により、ATDLは小さなターゲットデータに対して学習を安定化させ、過学習のリスクを低減した。
• 異なるDNNアーキテクチャおよびターゲットタスクに対しても一般化が可能であることが示され、低データ医療分野における広範な応用可能性を示した。