[論文レビュー] Explaining Bayesian Neural Networks

Kirill Bykov, Marina Höhne+5 more|arXiv (Cornell University)|Aug 23, 2021

Anomaly Detection Techniques and Applications参考文献 82被引用数 15

ひとこと要約

本稿では、1枚のヒートマップではなく説明分布を生成することで、ベイジアンニューラルネットワーク（BNNs）を解釈するための新規手法である不確実性を考慮した重要度（UAI）を提案する。事後分布からの重みサンプルの関連マップを平均化することで、UAIは特徴量の重要度と不確実性の両方を捉え、調整可能なパラメータ 𝛼 を用いてリスク回避的解釈を可能にする。実験により、合成データ、ベンチマークデータ、および実世界の病理画像データにおいて、モデルの挙動に関するより高い耐性と洞察が得られることを示した。

ABSTRACT

To advance the transparency of learning machines such as Deep Neural Networks (DNNs), the field of Explainable AI (XAI) was established to provide interpretations of DNNs' predictions. While different explanation techniques exist, a popular approach is given in the form of attribution maps, which illustrate, given a particular data point, the relevant patterns the model has used for making its prediction. Although Bayesian models such as Bayesian Neural Networks (BNNs) have a limited form of transparency built-in through their prior weight distribution, they lack explanations of their predictions for given instances. In this work, we take a step toward combining these two perspectives by examining how local attributions can be extended to BNNs. Within the Bayesian framework, network weights follow a probability distribution; hence, the standard point explanation extends naturally to an explanation distribution. Viewing explanations probabilistically, we aggregate and analyze multiple local attributions drawn from an approximate posterior to explore variability in explanation patterns. The diversity of explanations offers a way to further explore how predictive rationales may vary across posterior samples. Quantitative and qualitative experiments on toy and benchmark data, as well as on a real-world pathology dataset, illustrate that our framework enriches standard explanations with uncertainty information and may support the visualization of explanation stability.

研究の動機と目的

• ベイジアンニューラルネットワーク（BNNs）におけるインスタンスレベルの説明手法の欠如に応えること、これはその内在的な不確実性の定量化にもかかわらず。
• BNNsにおけるモデルの透明性と、通常のDNNsで用いられる局所的説明手法との間のギャップを埋めること。
• BNNの予測に対して不確実性を考慮した説明を生成する実用的でスケーラブルなフレームワークを構築すること。
• 調整可能なパラメータ 𝛼 を用いて、集合（リスク回避的）または和集合（包括的）の説明を選択可能にすること。
• 実世界のヒストパスロジー画像を含む多様なデータセット上でこの手法を検証し、モデルの体系的挙動やアーチファクトを解明する有効性を示すこと。

提案手法

• 本手法は、事後分布から複数の重み設定をサンプリングすることで、局所的説明手法（例：LRP）をBNNsに拡張する。
• 各事後サンプルに対して、標準的な説明手法（例：レイヤーごとの関連度伝搬（LRP））を用いて関連マップを計算する。
• 得られた関連マップの集合が説明分布を形成し、異なるネットワーク設定における特徴量の重要度のばらつきを捉える。
• 不確実性を考慮した説明（UAI）は、重み付き平均化手法を用いてこれらのマップを平均化することで計算される。この重みはハイパーパrameter 𝛼 で制御される。
• パラメータ 𝛼 を用いることで、ユーザーが説明を調整できる：低値の 𝛼 では複数のサンプルで一貫して重要とされる特徴量に注目（集合）、高値の 𝛼 では任意の正の関連度を持つ特徴量を含める（和集合）。
• 計算複雑度は事後サンプル数に線形に依存し、安定した不確実性推定には100サンプルで十分であることが示された。

実験結果

リサーチクエスチョン

• RQ1 BNNsが内在的に持つ予測分布を考慮して、意味のある不確実性を考慮した説明を生成する方法は何か？
• RQ2 ハイパーパrameter 𝛼 の値を変化させた場合、得られる説明の解釈可能性と耐性にどのような影響があるか？
• RQ3 UAIは、データセットのアーチファクトや「賢いハンス」行動のような偽の相関と、真のモデル挙動を区別できるか？
• RQ4 信頼性と洞察力の観点から、UAIは標準的な平均ベースの説明ベースラインと比べてどのように異なるか？
• RQ5 UAIは、BNNsに内在する複数の多様な予測戦略をどの程度明らかにできるか？

主な発見

• UAIは、特徴量の重要度と不確実性の両方を反映する説明分布を効果的に生成し、BNNの予測に対するより情報量が多く耐性のある解釈を可能にした。
• 𝛼 の値が高い場合、UAIは少なくとも一部のサンプルで関連性を持つ特徴量を明らかにし、より多様で包括的な説明を捉える。
• 𝛼 の値が低い場合、UAIは複数のサンプルで一貫して重要とされる特徴量を特定し、リスク回避的で集合ベースの解釈を提供する。
• Pascal VOC 2007 データセットでは、UAIがウォーターマークのアーチファクトを「馬」分類の主因として正しく特定した。これは、モデルの体系的バイアスを検出できる能力を示している。
• ヒストパスロジー画像データにおける実験では、UAIは標準的な平均ベースのベースラインよりも洗練され信頼性の高い説明を提供しており、特に予測の信頼度が高いか低いかの領域を特定する点で優れている。
• わずか100個の事後サンプルで安定した不確実性推定が達成されたため、実世界への展開において実用的であることが示された。