[論文レビュー] Bayes-Probe: Distribution-Guided Sampling for Prediction Level Sets.

Serena Booth, Yilun Zhou+2 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 2

ひとこと要約

Bayes-TrEx は、予測信頼度に応じて分布に従うサンプリングを行うフレームワークであり、テストセットを超えたニューラルネットワークの挙動を柔軟かつ包括的に分析できる。ベイジアン推論を用いてデータ分布からサンプリングすることで、高信頼度での誤分類、曖昧な意思決定境界、モデルの過信といった現象を明らかにする。

ABSTRACT

Post-hoc explanation methods are gaining popularity for interpreting, understanding, and debugging neural networks. Most analyses using such methods explain decisions in response to inputs drawn from the test set. However, the test set may have few examples that trigger some model behaviors, such as high-confidence failures or ambiguous classifications. To address these challenges, we introduce a flexible model inspection framework: Bayes-TrEx. Given a data distribution, Bayes-TrEx finds in-distribution examples with a specified prediction confidence. We demonstrate several use cases of Bayes-TrEx, including revealing highly confident (mis)classifications, visualizing class boundaries via ambiguous examples, understanding novel-class extrapolation behavior, and exposing neural network overconfidence. We use Bayes-TrEx to study classifiers trained on CLEVR, MNIST, and Fashion-MNIST, and we show that this framework enables more flexible holistic model analysis than just inspecting the test set. Code is available at this https URL.

研究の動機と目的

• テストセット入力にのみ依存する後処理解釈手法の限界を解消すること。これは、高信頼度での失敗など、稀だが重要な挙動を十分に捉えきれない可能性があるため。
• 標準的なテストセットに存在しないか、まれな挙動（例：曖昧な分類や過信）を体系的に発見すること。
• 固定されたテスト例に依存せず、予測信頼度に基づいてデータ分布からサンプリングすることで、包括的なモデル検査フレームワークを提供すること。
• 分布シフト、特に新クラスへの外挿や境界の曖昧さを含む状況下でのモデル挙動の分析を支援すること。
• 特定の失敗モードや信頼度パターンを露呈させる例を生成することで、ニューラルネットワークのデバッグと解釈を促進すること。

提案手法

• 目的の予測信頼度レベルに応じてデータ分布からサンプリングするため、ベイジアン推論を活用する。
• 確率的モデルを用いて、特定の信頼度スコアを達成する分布内入力を同定する。
• 事後分布サンプリング技術を適用し、高信頼度または曖昧な分類を引き起こす例を生成する。
• 再訓練を必要とせず、既存のニューラルネットワーク分類器と統合して、予測レベルの集合を調査できる。
• 異なるデータセットやモデルアーキテクチャに適用可能な柔軟なフレームワークを採用する。
• 特定の信頼度プロファイルを持つ例を標的的に生成することで、モデル挙動の分析を支援する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおいて、高信頼度での誤分類を引き起こす分布内例を体系的に特定できるか？
• RQ2 データ分布に代表される曖昧な例を用いて、意思決定境界を可視化できるか？
• RQ3 ニューラルネットワークは、分布内入力に対してどの程度過信を示すか？その挙動を定量化できるか？
• RQ4 既知のクラスの端縁に位置する例を生成することで、新クラスへの外挿挙動を研究できるか？
• RQ5 標準的なテストセット検査と比較して、提案フレームワークは包括的モデル分析をどの程度改善するか？

主な発見

• Bayes-TrEx は、標準的なテストセットに存在しないか、その中で顕著に不足している、稀な高信頼度誤分類を効果的に同定した。
• このフレームワークは、特に CLEVR のような複雑なデータセットにおいて、意思決定境界の本質を露呈する曖昧な例を明らかにした。
• MNIST や Fashion-MNIST で学習されたニューラルネットワークは、視覚的に曖昧な入力に対しても分布内例に対して顕著な過信を示した。
• この手法により、分布シフト下でのモデル挙動、特に新クラスへの外挿の分析が効果的に行えるようになった。
• 予測信頼度に基づいてデータ分布からサンプリングすることで、テストセットのみの分析に比べ、モデル挙動の包括的把握が可能になった。
• このフレームワークは CLEVR や MNIST、Fashion-MNIST を含む多様なデータセットで有効であることが示され、モデルの解釈性に一貫した改善効果を示した。