[論文レビュー] Bayes-TrEx: a Bayesian Sampling Approach to Model Transparency by Example

Serena Booth, Yilun Zhou+2 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

Bayes-TrEx は、テストセット分析をはるかに超えるモデルの透明性を高めるために、特定の予測信頼度を持つ分布内例を生成するベイジアンサンプリングフレームワークを提案する。階層ベイジアンモデルにおけるMCMCを活用することで、高信頼度の誤分類、曖昧なケース、および外挿行動を特定し、テストセットの検査に比べてモデルの故障モードを優れた方法で発見する。

ABSTRACT

Post-hoc explanation methods are gaining popularity for interpreting, understanding, and debugging neural networks. Most analyses using such methods explain decisions in response to inputs drawn from the test set. However, the test set may have few examples that trigger some model behaviors, such as high-confidence failures or ambiguous classifications. To address these challenges, we introduce a flexible model inspection framework: Bayes-TrEx. Given a data distribution, Bayes-TrEx finds in-distribution examples with a specified prediction confidence. We demonstrate several use cases of Bayes-TrEx, including revealing highly confident (mis)classifications, visualizing class boundaries via ambiguous examples, understanding novel-class extrapolation behavior, and exposing neural network overconfidence. We use Bayes-TrEx to study classifiers trained on CLEVR, MNIST, and Fashion-MNIST, and we show that this framework enables more flexible holistic model analysis than just inspecting the test set. Code is available at https://github.com/serenabooth/Bayes-TrEx.

研究の動機と目的

• テストセット入力にのみ依存する後処理解釈手法の限界、すなわちレアなまたは高信頼度の故障モードの例が欠如している点を是正すること。
• 特定の予測信頼度を引き起こす多様で分布内な例を生成することで、包括的なモデル分析を可能にすること。
• 過信、曖昧な分類、新規クラスへの外挿といった行動に対して、例によるモデルの透明性を向上させること。
• 学習済みのデータ分布（例：VAE、GAN）または手動で定義されたものと互換性がある柔軟なフレームワークを提供し、視覚ベンチマークに応用可能であること。
• 生成された例をさらにGradCAMやその他の局所的解釈技術で分析可能であり、デバッグと解釈を支援すること。

提案手法

• Bayes-TrEx は、特定の予測信頼度を持つ分布内例を発見する問題を、階層ベイジアンモデルにおける事後分布推論として定式化する。
• マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて潜在表現上の事後分布を探索することで、生成された例が妥当かつ望ましい信頼度レベルと一致することを保証する。
• 計算上の実行可能性を高めるために、正確なレベルセット制約を緩和し、信頼度の範囲を広げることで、事後分布のサンプリングを容易にする。
• 画像データに対してはVAEやGANで学習されたデータ分布と統合するが、構造化データ（例：CLEVR）には手動で定義された分布を用いる。
• 異なる信頼度目標（例：バランス、高信頼度、曖昧な予測）を指定することで、複数のユースケースをサポートする。
• 生成された例は、SmoothGrad などの既存の局所的解釈手法を用いてさらに分析され、モデルの注目領域や意思決定の根拠を解釈する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンサンプリングアプローチは、標準的なテストセットで見逃された高信頼度の誤分類を示す分布内例を生成できるか？
• RQ2 テストセットの検査に比べて、Bayes-TrEx は境界が曖昧な例を可視化する際、どれほど効果的にクラス境界を明らかにできるか？
• RQ3 Bayes-TrEx は、混同行列からは明らかでない過信や新規クラスへの外挿行動をどの程度露呈できるか？
• RQ4 生成された例は、モデルデバッグの文脈で、テストセットの例と比べてどれほど本物らしく、代表的であるか？
• RQ5 このフレームワークは、CLEVR、MNIST、Fashion-MNIST で学習されたモデルを含む、さまざまなデータ分布とモデルアーキテクチャに一般化可能か？

主な発見

• Bayes-TrEx は Fashion-MNIST で 51 件の高信頼度誤分類を発見したが、これはテストセット全体の 93 件の例をはるかに上回る。テストセットの多くはデータラベルの誤りによるものであり、モデルの誤りによるものではなかった。
• CLEVR では、球が1つも存在しないシーン（シリンダーと立方体のみ）に対して、モデルが 97.1% の信頼度で球が存在すると分類していた。これは深刻な故障モードを明らかにした。
• フレームワークは、テストセット分析がしばしばデータの疎らさのためそのようなケースを欠如させることを考慮すると、高信頼度の誤分類や曖昧な例をより多く発見した。
• 新規クラスへの外挿に関しては、Bayes-TrEx がモデルがバッグをアキレスブーツと誤って分類していたことを明らかにした。これはテストセットの混同行列には存在しなかった行動であり、隠れた故障モードを示している。
• 生成された例にSaliency mapsを適用した結果、モデルの注目領域が小さな視覚的に類似した物体（例：赤いシリンダーが球と誤認）に不適切に向けられていたことが確認され、発見の解釈可能性が裏付けられた。
• この手法は、テストセットに基づく評価が重要な故障パターンを見逃す可能性がある一方で、Bayes-TrEx は体系的かつ分布に配慮した例生成によって、より包括的かつ信頼性の高いモデルの透明性を実現できることを示した。