[論文レビュー] Quantifying Statistical Significance of Neural Network Representation-Driven Hypotheses by Selective Inference

Vo Nguyen Le Duy, Shogo Iwazaki+1 more|arXiv (Cornell University)|May 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 30被引用数 13

ひとこと要約

本稿では、ホモトピーに基づくアルゴリズムを用いて正確な条件付き標本分布を計算することで、深層ニューラルネットワーク（DNN）表現から導かれた仮説の統計的有意性を定量化する選択的仮説検定フレームワークを提案する。この手法は、偽陽性率を制御し、合成データおよび実世界のデータセットにおいて高い計算効率と実用的性能を示す。

ABSTRACT

In the past few years, various approaches have been developed to explain and interpret deep neural network (DNN) representations, but it has been pointed out that these representations are sometimes unstable and not reproducible. In this paper, we interpret these representations as hypotheses driven by DNN (called DNN-driven hypotheses) and propose a method to quantify the reliability of these hypotheses in statistical hypothesis testing framework. To this end, we introduce Selective Inference (SI) framework, which has received much attention in the past few years as a new statistical inference framework for data-driven hypotheses. The basic idea of SI is to make conditional inferences on the selected hypotheses under the condition that they are selected. In order to use SI framework for DNN representations, we develop a new SI algorithm based on homotopy method which enables us to derive the exact (non-asymptotic) conditional sampling distribution of the DNN-driven hypotheses. We conduct experiments on both synthetic and real-world datasets, through which we offer evidence that our proposed method can successfully control the false positive rate, has decent performance in terms of computational efficiency, and provides good results in practical applications.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）表現の解釈における不安定性と再現不能性を解消する。
• DNN駆動の解釈を、統計的検証を要するデータ駆動型仮説として再定式化する。
• ヒューリスティック法や漸近的手法に依存しない、信頼性の高い統計的フレームワークを構築し、これらの仮説の有意性を評価する。
• DNN駆動の仮説に対して正確で漸近的でない推論を可能にし、解釈可能性と信頼性を向上させる。

提案手法

• 選択的仮説検定（SI）フレームワークを採用し、DNN表現に基づいて選択された仮説に対して条件付き推論を実施する。
• DNN駆動の仮説の正確（漸近的でない）条件付き標本分布を計算する、新しいホモトピーに基づくアルゴリズムを開発する。
• ホモトピー法におけるパスフォローテクニックを活用し、解のパスを効率的に追跡し、選択下での有効なp値を導出する。
• ホモトピー・アルゴリズムをDNN表現パイプラインに統合し、特徴量の重要性や表現駆動型仮説の統計的検定を可能にする。
• 選択イベントを条件付けることで、第1種の誤り率（Type I error rate）を制御し、選択後推論の落とし穴を回避する。

実験結果

リサーチクエスチョン

• RQ1 選択的仮説検定は、DNN表現から導かれた仮説の統計的有意性を効果的に定量化できるか？
• RQ2 提案されたホモトピーに基づくSI手法は、DNN駆動の仮説に対して正確で漸近的でない推論を提供するか？
• RQ3 従来の手法と比較して、実際のデータで偽陽性率はどの程度適切に制御されるか？
• RQ4 本手法の計算効率およびスケーラビリティは、実世界および合成データセット上でどの程度か？

主な発見

• 提案手法は、合成データおよび実世界のデータセットの両方で偽陽性率を適切に制御しており、統計的信頼性が裏付けられた。
• ホモトピーに基づくアルゴリズムにより、漸近的近似に依存せず、標準的手法よりも高い正確性を実現した。
• 計算効率が高く、解釈パイプラインへの実用的導入が可能であることが示された。
• 実証的結果から、本手法は多様なデータ環境において意味的で再現可能なDNN表現の解釈を生成することがわかった。