[論文レビュー] Consistent Feature Selection for Analytic Deep Neural Networks

Vu Dinh, Lam Si Tung Ho|arXiv (Cornell University)|Oct 16, 2020

Statistical Methods and Inference参考文献 39被引用数 6

ひとこと要約

この論文は、グループラッソをベース推定量として用い、適応的グループラッソを用いて、解析的ディープニューラルネットワークにおける特徴選択の選択的一致性を確立している。この研究では、順方向伝播型、畳み込み型、および残差ネットワークを含む広範なネットワーククラスに対して、その方法が関連する特徴を一貫して特定できることを証明しており、解釈可能なディープラーニングの理論的裏付けを提供するとともに、標準のグループラッソに比べて優れた一貫性特性を示す適応的グループラッソの優位性を主張している。

ABSTRACT

One of the most important steps toward interpretability and explainability of neural network models is feature selection, which aims to identify the subset of relevant features. Theoretical results in the field have mostly focused on the prediction aspect of the problem with virtually no work on feature selection consistency for deep neural networks due to the model's severe nonlinearity and unidentifiability. This lack of theoretical foundation casts doubt on the applicability of deep learning to contexts where correct interpretations of the features play a central role. In this work, we investigate the problem of feature selection for analytic deep networks. We prove that for a wide class of networks, including deep feed-forward neural networks, convolutional neural networks, and a major sub-class of residual neural networks, the Adaptive Group Lasso selection procedure with Group Lasso as the base estimator is selection-consistent. The work provides further evidence that Group Lasso might be inefficient for feature selection with neural networks and advocates the use of Adaptive Group Lasso over the popular Group Lasso.

研究の動機と目的

• 非線形性と同定不能性のため、ディープニューラルネットワークにおける特徴選択に理論的基盤が欠如しているという問題に取り組む。
• 順方向伝播型、畳み込み型、および残差ネットワークを含む広範なクラスの解析的ディープネットワークに対して、選択的一致性を確立する。
• グループラッソがディープネットワークにおける特徴選択において一貫性を示さないことを示し、代替として適応的グループラッソを優れた選択肢として提唱する。
• ネットワークサイズやデータ生成モデルに対する制限的な仮定を避け、最小限で検証可能なフレームワークを構築する。
• 医療や公共政策など、高リスク分野における解釈可能なディープラーニングの理論的支援を拡張する。

提案手法

• 解析的活性化関数と線形入力相互作用を持つ、一般化された解析的ディープニューラルネットワークのクラスを形式化する。
• 入力特徴のグループワイドなスパarsityを促進するために、グループラッソをベース推定量として用いる。
• 初期推定値に基づいて特徴グループに異なる重みを割り当てる適応的グループラッソペナルティを適用し、選択的一致性を向上させる。
• サンプルサイズの増大に伴う漸近的分析に基づく理論的枠組みを採用し、ネットワーク構造を固定する。
• 検証可能性と一般性を確保するため、解析性、有界パラメータ空間、最小限の正則性条件を仮定する。
• 先行研究に見られる非検証可能な仮定を回避するために、補題3.2を用いることで理論的分析の頑健性を高める。

実験結果

リサーチクエスチョン

• RQ1 現実的な仮定の下で、ディープニューラルネットワークにおける特徴選択は理論的に正当化可能か？
• RQ2 グループラッソはディープネットワークにおいて選択的一致性を示すのか、それとも非効率性と不一致に苦しむのか？
• RQ3 適応的グループラッソは、ディープラーニングの文脈において、標準のグループラッソに比べて選択的一致性を向上させるか？
• RQ4 畳み込み型や残差アーキテクチャを含む広範なクラスのディープネットワークに対し、選択的一致性を確立できるか？
• RQ5 特に、ネットワークサイズがデータ生成モデルと正確に一致しない場合でも、理論的結果は最小限の仮定のもとで成立するか？

主な発見

• グループラッソをベース推定量として用いる適応的グループラッソは、順方向伝播型、畳み込み型、および残差ネットワークの主要部分クラスを含む広範な解析的ディープニューラルネットワークに対して選択的一致性を示す。
• 理論的分析により、標準のグループラッソはディープネットワークにおける特徴選択において不一致であることが示された。特に、特徴グループの重みを適応的に調整できないことが原因である。
• このフレームワークは、トレーニング用ネットワークがデータ生成用ネットワークと正確に同じサイズでなくてもよいことを前提としており、先行研究で一般的に見られる制限的仮定を緩和している。
• 最適解におけるヘッセ行列の正則性といった非検証可能な仮定を回避することで、結果の適用可能性と一般化可能性が向上した。
• 本研究は、ディープラーニングにおける特徴選択の一貫性に関する理論的基盤を初めて提供しており、高リスク分野における解釈可能な応用への活用を支援している。
• 結果として、特徴選択の文脈において、標準のグループラッソに比べて一貫性と信頼性が向上するため、適応的グループラッソの使用を推奨する。