[論文レビュー] Explaining a black-box using Deep Variational Information Bottleneck Approach

Seojin Bang, Pengtao Xie+3 more|arXiv (Cornell University)|Feb 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 13

ひとこと要約

本稿では、ブラックボックスモデルの意思決定に関して、冗長性を最小限に抑えつつ最大限の情報を保持するように、キーワードやフレーズ、画像領域などの認知的コンポーネント（cognitive chunks）を選択することで、簡潔でありながら包括的な説明を生成する、システムに依存しない後処理型の解釈可能な機械学習手法VIBIを提案する。VIBIは、深層変分情報ボトルネック原理に基づいており、人間評価と忠実度メトリクスの両面で最先端手法を上回り、ブラックボックス意思決定の優れた解釈性と忠実な近似を示している。

ABSTRACT

Interpretable machine learning has gained much attention recently. Briefness and comprehensiveness are necessary in order to provide a large amount of information concisely when explaining a black-box decision system. However, existing interpretable machine learning methods fail to consider briefness and comprehensiveness simultaneously, leading to redundant explanations. We propose the variational information bottleneck for interpretation, VIBI, a system-agnostic interpretable method that provides a brief but comprehensive explanation. VIBI adopts an information theoretic principle, information bottleneck principle, as a criterion for finding such explanations. For each instance, VIBI selects key features that are maximally compressed about an input (briefness), and informative about a decision made by a black-box system on that input (comprehensive). We evaluate VIBI on three datasets and compare with state-of-the-art interpretable machine learning methods in terms of both interpretability and fidelity evaluated by human and quantitative metrics

研究の動機と目的

• 既存の解釈可能な機械学習手法における、一貫した簡潔さと包括性の欠如に対処すること。
• ブラックボックスモデルの性能を損なわず、あらゆるモデルに適用可能な、システムに依存しない後処理型の説明フレームワークを開発すること。
• 「良い」説明を、出力に関して最大限に情報量が多く、入力に関して最大限に圧縮されているものとして形式化し、情報ボトルネック原理を用いること。
• 人間が理解可能なレベルの認知的コンポーネント（例：単語、フレーズ、画像パッチ）での説明を可能にすることにより、人間の解釈性を向上させること。
• 説明者ネットワークと近似者ネットワークを分離することで、忠実度を向上させ、構造的制約を回避すること。

提案手法

• VIBIは、情報ボトルネック目的関数の変分近似を用い、入力特徴の圧縮とブラックボックス出力に関する情報保持のトレードオフを効率的に最適化可能である。
• 説明者ネットワークは、認知的コンポーネントの選択確率分布を出力し、それが説明に含まれる可能性を示す。
• 近似者ネットワークは、選択されたコンポーネントのみを用いてブラックボックスモデルの挙動を模倣し、忠実度の評価を可能にする。
• 選択プロセスのハード選択を微分可能に近似する（Gumbel-Softmaxを用いて）ことで、バックプロパゲーションが選択メカニズムを通過可能になる。
• ハイパーパrameter β は、圧縮性（βが小さい）と情報量（βが大きい）のトレードオフを制御する。実験では β=0.1 を使用した。
• 認知的コンポーネントは、意味的に意味のある特徴群（例：単語、文、画像パッチ）として定義され、人間が理解可能な説明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 情報理論的原則の一つである情報ボトルネックを、ブラックボックスモデルの簡潔で包括的な説明に効果的に適用できるか。
• RQ2 提案されたVIBIフレームワークは、人間の解釈性とモデルの忠実度の両面で、最先端手法と比較してどのように差をつけるか。
• RQ3 VIBIにおける圧縮項は、連続的リラクゼーションに依存するのではなく、情報フローの純度をどの程度向上させるか。
• RQ4 アーキテクチャの変更なしに、後処理型でシステムに依存しない手法が、ブラックボックスモデルの高忠実度な説明を達成できるか。
• RQ5 原始的な特徴を認知的コンポーネントにグループ化することで、説明の理解可能性と正確性が向上するか。

主な発見

• IMDBにおける人間評価では、VIBIはわずか5つのキーワードのみで、正解のブラックボックス意思決定と44.7％の一致率を達成し、LIME（35.6％）、L2X（33.8％）、SHAP（35.6％）を上回った。
• MNISTでは、VIBIがキーディジットの特徴を強調する平均スコア3.526（満点5点中）を達成し、サリエンシー（3.448）、LIME（1.369）、L2X（1.936）を上回った。
• 近似者忠実度においてもVIBIは優れた性能を示し、4×4パッチと10個のコンポーネントを用いたMNISTでは96.7％の正確度を達成し、サリエンシー（95.7％）、LIME（93.8％）、SHAP（95.4％）を上回った。
• 離散的トップ-kコンポーネントのみを用いたリトレイル忠実度（rationale fidelity）において、VIBIは4×4パッチと40個のコンポーネントを用いたMNISTで91.5％を達成し、L2X（81.1％）を著しく上回った。これは、圧縮項が説明を通じた情報フローの純度を向上させることを示している。
• VIBIのリトレイル忠実度は、すべての設定でL2Xを常に上回り、圧縮目的が連続的リラクゼーションに起因する勾配アーチファクトに依存するのを防ぐことを示している。
• VIBIの性能は、さまざまなコンポーネントサイズとデータセットに対して安定しており、β=0.1で最も良い結果が得られ、圧縮性と情報量のバランスが効果的に取れていることが示された。