[論文レビュー] Interval Neural Networks: Uncertainty Scores

Luis Oala, Cosmas Heiß+4 more|arXiv (Cornell University)|Mar 25, 2020

Model Reduction and Neural Networks参考文献 20被引用数 10

ひとこと要約

本稿では、区間演算を用いて事前学習済みの深層ニューラルネットワークに対して非ベイジアンな方法として、非対称で理論的に正当化された不確実性バッジを生成する区間ニューラルネットワーク（INNs）を提案する。INNsは、真の値を信頼性高く含む下限および上限出力バッジを生成し、誤差の相関性が向上し、方向性のある不確実性の洞察が得られ、ノイズに対してより頑健である。CT画像再構成タスクにおける不確実性評価において、モンテカルロドロップアウトおよびProbOutを上回る性能を示した。

ABSTRACT

We propose a fast, non-Bayesian method for producing uncertainty scores in the output of pre-trained deep neural networks (DNNs) using a data-driven interval propagating network. This interval neural network (INN) has interval valued parameters and propagates its input using interval arithmetic. The INN produces sensible lower and upper bounds encompassing the ground truth. We provide theoretical justification for the validity of these bounds. Furthermore, its asymmetric uncertainty scores offer additional, directional information beyond what Gaussian-based, symmetric variance estimation can provide. We find that noise in the data is adequately captured by the intervals produced with our method. In numerical experiments on an image reconstruction task, we demonstrate the practical utility of INNs as a proxy for the prediction error in comparison to two state-of-the-art uncertainty quantification methods. In summary, INNs produce fast, theoretically justified uncertainty scores for DNNs that are easy to interpret, come with added information and pose as improved error proxies - features that may prove useful in advancing the usability of DNNs especially in sensitive applications such as health care.

研究の動機と目的

• 深層ニューラルネットワークにおける既存の不確実性評価（UQ）手法の限界、特に対称的な不確実性推定と入力ノイズに対する脆弱性を解消すること。
• 事前学習済みDNNに対して理論的に正当化された不確実性バッジを生成する非ベイジアンで最適化に基づく手法を開発すること。
• 対称的な分散とは異なり、予測が過剰または不足している可能性を示す方向性の情報を提供することで、不確実性スコアの解釈可能性と有用性を向上させること。
• 医療画像診断のような感受性の高い応用分野において、予測誤差の代理としての不確 Parameter が信頼性を持つようにすること。
• 区間ベースの不確実性推定が、最先端の手法と比較して、より良好なカバレッジと実際の誤差との相関性を示すことを実証すること。

提案手法

• INNは、区間値をとる重みと活性化を持つニューラルネットワークであり、入力を区間演算を用いて伝搬させ、出力バッジを生成する。
• ネットワークは、真の値が予測バッジ内に含まれるように、区間幅を最小化するように訓練され、微分可能な損失関数が使用される。
• 区間伝播は、元のDNNの最後の12層に限定して適用され、主なネットワークの予測行動を保持する。
• 不確実性スコアは、区間幅（上限 - 下限）から導出され、非対称で方向性のある不確実性表現が可能になる。
• ベースDNNは別途事前学習され、INNはAdamを用い、小さな学習率とミニバッチを用いて訓練される。
• 主な評価指標として性能重み付き相関係数（PWCC）を用い、モンテカルロドロップアウトおよびProbOutと比較される。

実験結果

リサーチクエスチョン

• RQ1 区間ニューラルネットワークは、実際の予測誤差と強い相関性を示しながら、真の値を信頼性高く含む不確実性バッジを生成できるか？
• RQ2 非対称な区間バッジが有する方向性情報は、対称的な分散推定と比較して、解釈性をどのように向上させるか？
• RQ3 INN手法は、既存のUQ手法とは異なり、入力ノイズに対して頑健性を維持できるか？
• RQ4 実世界の医療画像診断タスクにおいて、INNの不確実性スコアは実際の予測誤差とどの程度相関しているか？
• RQ5 実際の応用において、予測区間のカバレッジは他のUQ手法と比較してどの程度優れているか？

主な発見

• INN手法は、CT再構成テストセットにおいて、2211 ± 403の最高の性能重み付き相関係数（PWCC）を達成し、モンテカルロドロップアウト（2170 ± 513）およびProbOut（190 ± 28）を上回った。
• INN手法は、ノイズに対して優れた耐性を示し、他の手法が誤差と相関を失う中で、一貫した不確実性推定を維持した。
• 真の値の76% ± 6%が予測区間内に含まれており、強力なカバレッジ特性を示した。
• 区間方向閾値が上昇するに従い、INNの方向性正確度は57%から72%に上昇し、予測が過剰または不足している可能性を正しく示す能力が確認された。
• INNは、エッジアーチファクトや高強度変動のような誤差を生じやすい領域を、ベースライン手法よりも正確に特定した。
• 非ベイジアンで最適化に基づくアプローチであるにもかかわらず、INNは理論的に正当化されたバッジを達成し、競争的な推論速度を維持した。