[論文レビュー] Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference

Vo Nguyen Le Duy, Shogo Iwazaki+1 more|arXiv (Cornell University)|Oct 5, 2020

Machine Learning and Data Classification参考文献 34被引用数 6

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（DNN）に基づく画像セグメンテーション結果の統計的有意性を、正確で漸近的でないp値を計算することで評価する、新しい条件付き選択的仮説検定（SI）フレームワークを提案する。DNNにおける複雑な選択イベントを処理するためにホモトピーに基づくアルゴリズムを用い、偽陽性率（FPR）を制御しながら高い統計的パワーを維持する。これにより、医療画像診断のような高リスクな応用分野において信頼できる推論が可能になる。

ABSTRACT

Although a vast body of literature relates to image segmentation methods that use deep neural networks (DNNs), less attention has been paid to assessing the statistical reliability of segmentation results. In this study, we interpret the segmentation results as hypotheses driven by DNN (called DNN-driven hypotheses) and propose a method by which to quantify the reliability of these hypotheses within a statistical hypothesis testing framework. Specifically, we consider a statistical hypothesis test for the difference between the object and background regions. This problem is challenging, as the difference would be falsely large because of the adaptation of the DNN to the data. To overcome this difficulty, we introduce a conditional selective inference (SI) framework -- a new statistical inference framework for data-driven hypotheses that has recently received considerable attention -- to compute exact (non-asymptotic) valid p-values for the segmentation results. To use the conditional SI framework for DNN-based segmentation, we develop a new SI algorithm based on the homotopy method, which enables us to derive the exact (non-asymptotic) sampling distribution of DNN-driven hypothesis. We conduct experiments on both synthetic and real-world datasets, through which we offer evidence that our proposed method can successfully control the false positive rate, has good performance in terms of computational efficiency, and provides good results when applied to medical image data.

研究の動機と目的

• DNNベースの画像セグメンテーションにおける統計的信頼性の評価が不足している問題に取り組むこと、特に医療診断のような高リスクな応用分野を対象とする。
• データをセグメンテーションと仮説検定の両方で使用する「ダブル・ディッピング」問題を解消すること。
• DNN駆動のセグメンテーション仮説に対して有効で、漸近的でない統計的仮説検定フレームワークを構築すること。
• 深層畳み込みニューラルネットワークが引き起こす複雑でデータ駆動の選択イベント下で、セグメンテーション結果の正確なp値を計算できること。
• 実際の画像セグメンテーションタスクおよび合成データタスクにおいて、偽陽性率（FPR）を制御できること。

提案手法

• セグメンテーションの選択イベントに条件づけた統計的仮説検定フレームワークを導入し、正確な標本分布の導出を可能にする。
• DNNにおけるリプル（ReLU）、畳み込み、マックスプーリングなどの区分線形演算を処理できる、新しいホモトピー法を開発する。
• DNNの選択イベントをデータ空間上の線形不等式の集合として特徴づけ、条件付き標本分布を用いた正確な推論を可能にする。
• 検定統計量の方向に沿ってホモトピー法を適用し、活性化されたニューロンの集合をトレースすることで、すべての組み合わせを指数的枚数で列挙するのを避ける。
• 検定統計量の正確な条件付き分布を用いて、モデルの複雑さや選択バイアスに強く、有効なp値を計算する。
• 標準的なCNNに対してこの手法を実装し、畳み込み、マックスプーリング、ReLUといった一般的な演算への適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 選択的仮説検定は、DNNベースの画像セグメンテーションに効果的に適用可能であり、セグメンテーション結果の統計的有意性を正確に評価できるか？
• RQ2 複雑な深層ニューラルネットワークによって選択された仮説に対して、正確で漸近的でないp値をどのように計算できるか？
• RQ3 提案されたホモトピーに基づくSI手法は、画像セグメンテーションタスクにおいて有効な第1種の誤り率（FPR）制御を維持できるか？
• RQ4 提案手法は、ナイーブなp値やパーミュテーション検定と比較して、検出力および計算効率に優れているか？
• RQ5 本手法は、実世界のセグメンテーションデータに対しても統計的妥当性を保ちながら拡張可能か？

主な発見

• 提案手法は、ラプラス分布、歪りのある正規分布、スチューデントのt分布を含むさまざまな分布において、名目水準（α = 0.05およびα = 0.1）で偽陽性率（FPR）を適切に制御した。
• ホモトピー法は、過剰に条件づけられたベースラインと比較して、より高い真正陽性率（TPR）を達成し、統計的パワーの向上を示した。
• 共分散行列をデータから推定しても、FPRの制御が維持されることから、モデルの仮定に強く、ロバストであることが示された。
• 脳腫瘍データセットでは、提案手法のFPRは0.057に留まり、パーミュテーション検定の信頼性のない0.640よりも顕著に低かった。
• ナイーブなp値は真陽性と偽陽性の区別がつかなかったが、選択的p値は両者を正しく識別した。
• ホモトピー法の計算効率は、データ次元に対してほぼ線形にスケーリングされ、活性化パターンの全組み合わせの列挙に伴う指数的コストを回避した。