[論文レビュー] Dropout Feature Ranking for Deep Learning Models

Chun‐Hao Chang, Ladislav Rampášek+1 more|arXiv (Cornell University)|Dec 22, 2017

Explainable Artificial Intelligence (XAI)参考文献 39被引用数 35

ひとこと要約

本稿では、深層ニューラルネットワークの入力層に変分ドロップアウトを適用することで特徴量の重要度を順序付けする、新しい手法であるドロップアウト特徴量ランク付け（Dropout FR）を提案する。特徴量ごとのドロップアウト率を最適化することで、多様なデータセットにおいて特徴量選択と解釈性の両面で性能を向上させ、フィードフォワードネットワークおよび再帰的ネットワークの両方で、古典的手法および深層学習ベースのベースラインを上回る。特に、薬物応答予測において生物学的に関連する特徴量を同定する点で優れた性能を示す。

ABSTRACT

Deep neural networks (DNNs) achieve state-of-the-art results in a variety of domains. Unfortunately, DNNs are notorious for their non-interpretability, and thus limit their applicability in hypothesis-driven domains such as biology and healthcare. Moreover, in the resource-constraint setting, it is critical to design tests relying on fewer more informative features leading to high accuracy performance within reasonable budget. We aim to close this gap by proposing a new general feature ranking method for deep learning. We show that our simple yet effective method performs on par or compares favorably to eight strawman, classical and deep-learning feature ranking methods in two simulations and five very different datasets on tasks ranging from classification to regression, in both static and time series scenarios. We also illustrate the use of our method on a drug response dataset and show that it identifies genes relevant to the drug-response.

研究の動機と目的

• 生物学や医療などの仮説駆動分野における深層ニューラルネットワーク（DNN）の解釈性の欠如に対処すること。
• フィードフォワードネットワークや再帰的ネットワークを含む多様な深層学習アーキテクチャに適用可能な汎用的特徴量ランク付け手法の開発。
• リソース制約下で最も情報量の多い特徴量を特定し、最小限のデータ収集で効率的な実験設計を可能にすること。
• LASSO、ElasticNet、Random Forestといった既存手法に比べ、非線形相互作用や相関のある特徴量をよりよく捉えること。
• 生物学的・臨床的実世界データセット（例：薬物応答予測）を用いた、本手法の有効性の実証。

提案手法

• 深層ニューラルネットワークの入力層に変分ドロップアウトを適用し、各入力特徴量が学習可能なドロップアウト率を持つものとする。
• トレーニング中に特徴量ごとのドロップアウト率を最適化することで特徴量の重要度を評価し、高いドロップアウト率は低い特徴量関連性を示す。
• 順伝播処理中に入力特徴量を確率的マスキングすることで、特徴量バギングをシミュレートし、特徴量相関に対する耐性を向上させる。
• 全結合ネットワーク、RNN、変分オートエンコーダー（VAE）を含むさまざまな深層学習アーキテクチャに本手法を統合する。
• 学習されたドロップアウト率に基づいて特徴量をランク付けし、重要度が低い特徴量はより頻繁にドロップアウトされる。
• ドロップアウトのベイズ的解釈を用いて、特徴量重要度学習における不確実性推定と正則化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非線形相互作用や相関のある特徴量が存在する状況でも、入力層に適用した変分ドロップアウトが深層学習モデルの特徴量ランク付けに効果的に機能するか。
• RQ2 LASSO や ElasticNet などの古典的手法および Deep FS などの深層学習ベースのベースラインと比較して、ドロップアウト FR の特徴量選択性能はどのように異なるか。
• RQ3 フィードフォワードネットワーク、RNN、VAE などの半教師ありモデルを含む、さまざまな深層学習アーキテクチャに本手法が一般化可能か。
• RQ4 実世界のデータセット（例：薬物応答に関連する遺伝子）において、生物学的に関連する特徴量を同定できるか。
• RQ5 データが限られた状況やリソース制約下で、最も情報量の多い特徴量を最小限で選択する必要がある場合、本手法はどの程度の性能を示すか。

主な発見

• MiniBooNE データセットでは上位5特徴量のランク付け、YearPredictionMSD データセットでは上位20特徴量のランク付けにおいて、すべてのベースラインを上回り、AUPR および AUROC で統計的に有意な改善を示した。
• PhysioNet 時系列データセットでは、上位1つの特徴量のみを用いても、Random Forest をも上回った。これは、本手法が最も予測能の高い単一特徴量を効果的に特定できることを示している。
• VAE を用いた薬物応答予測タスクでは、FOSL1 や TRAM2 といった既知の生物学的に関連する遺伝子を有意に同定した（p < 1e-7）。
• RNN を用いた PhysioNet モデルでは、AUPR 0.448 ± 0.063、AUROC 0.808 ± 0.026 を達成し、この設定で他のすべての手法を上回った。
• LASSO や Deep FS とは異なり、ドロップアウト FR は特徴量相関に対して頑健であり、相関する特徴量群から1つしか選択しない傾向がなかった。
• シミュレーションスタディでは、ドロップアウト FR は重要な特徴量間の2次相互作用を正しく捉えていたが、Marginal ranking や LASSO は相互作用する特徴量を正確にランク付けできなかった。