[論文レビュー] Removing Confounding Factors Associated Weights in Deep Neural Networks Improves the Prediction Accuracy for Healthcare Applications

Haohan Wang, Zhenglin Wu+1 more|arXiv (Cornell University)|Mar 20, 2018

Machine Learning in Healthcare被引用数 7

ひとこと要約

本論文では、年齢、性別、対比剤など、年齢、性別、対比剤などの交絡要因に関連する重みを特定・削除することで、医療分野における深層ニューラルネットワークの予測精度を向上させる最小限のアーキテクチャ変更手法である共変数フィルタリング（CF）を提案する。共変数を予測するように上位層を再訓練し、その影響をフィルタリングすることで、CT、MRA、EEGデータセットにおいて一貫した精度向上が得られ、多様なコhort間での一般化性能が向上する。

ABSTRACT

The proliferation of healthcare data has brought the opportunities of applying data-driven approaches, such as machine learning methods, to assist diagnosis. Recently, many deep learning methods have been shown with impressive successes in predicting disease status with raw input data. However, the "black-box" nature of deep learning and the high-reliability requirement of biomedical applications have created new challenges regarding the existence of confounding factors. In this paper, with a brief argument that inappropriate handling of confounding factors will lead to models' sub-optimal performance in real-world applications, we present an efficient method that can remove the influences of confounding factors such as age or gender to improve the across-cohort prediction accuracy of neural networks. One distinct advantage of our method is that it only requires minimal changes of the baseline model's architecture so that it can be plugged into most of the existing neural networks. We conduct experiments across CT-scan, MRA, and EEG brain wave with convolutional neural networks and LSTM to verify the efficiency of our method.

研究の動機と目的

• 医療予測に用いられる深層学習モデルにおける、年齢、性別、画像対比剤などの交絡要因の課題に取り組む。
• 交絡要因が引き起こす誤った相関に依存しなくなるように、多様な患者コhort間でのモデル一般化性能を向上させる。
• 既存のニューラルネットワークアーキテクチャへの最小限の変更で済む、即挿し可能な手法を開発する。
• CT、MRA、EEGを含む、複数の医療画像および信号処理タスクにおいて一貫した性能向上を実証する。
• 交絡要因が高精度なラボ性能を示しても、実世界の予測性能を低下させることを実証的検証する。

提案手法

• 交絡データを用いて、標準的な深層ニューラルネットワーク（例：CNN、LSTM、U-Net）を元のタスクで訓練する。
• 最終分類層を、疾患ラベルの代わりに交絡要因（例：性別、年齢、対比剤の有無）を予測する新しい層に置き換える。
• 2段階の再訓練を実施：まずタスク関連特徴を学習し、次に交絡要因固有の表現を学習する。
• 勾配に基づく解析を用いて、交絡要因と強く関連する上位層の重みを特定し、削除する。
• 推論時に、これらの交絡要因関連重みの影響を抑制するフィルタリング機構を適用する。
• Deep Feature Selectionを用いて、入力ピクセルや信号のうち、交絡要因を最も予測するもの（＝交絡要因に関連する）を可視化し、その分布がわずかでパターンのない特徴であることを確認する。

実験結果

リサーチクエスチョン

• RQ1 交絡要因に関連する重みを削除することで、医療分野の深層ニューラルネットワークのコhort間一般化性能が向上するか？
• RQ2 高サンプル内精度を示しても、性別、年齢、対比剤などの交絡要因が、モデル性能をどの程度低下させるか？
• RQ3 既存モデルへの最小限のアーキテクチャ変更で、交絡要因の影響を分離・削除できるか？
• RQ4 トレーニング中に、真の疾患信号に関連する重みと交絡要因関連重みは区別可能か？
• RQ5 ネットワークアーキテクチャの再設計なしに、CT、MRA、EEGなど多様なモダリティに一般化可能か？

主な発見

• 共変数フィルタリング（CF）は、肺腺がん、心室分離、学生の混乱状態、脳腫瘍検出の4つの多様な医療タスクにおいて一貫して予測精度を向上させた。
• 肺腺がん実験では、CF-CNNが標準CNNよりもコホート間評価で優れた性能を示し、特にテストセットで対比剤使用が異なる場合に顕著だった。
• 性別や年齢関連特徴への依存度が低下したが、それらの特徴は入力データに明確な空間パターンを示さない場合でも同様に効果的だった。
• 重み更新の可視化により、タスク関連重みと交絡要因関連重みのトレーニングダイナミクスに顕著な差が確認され、本手法の核心仮定が裏付けられた。
• VGG19ではわずかな性能低下が見られたが、他のすべてのCNNアーキテクチャでCFが精度向上を示し、モデルファミリー全体にわたるロバスト性が裏付けられた。
• Deep Feature Selectionの結果、交絡要因関連ピクセルは散らばっており、識別的でないことが判明。手動でのフィルタリングは不適切であることを示唆し、CFのような自動手法の必要性を強調した。