[論文レビュー] Towards Interrogating Discriminative Machine Learning Models

Wenbo Guo, Kaixuan Zhang+3 more|arXiv (Cornell University)|May 23, 2017

Machine Learning and Data Classification参考文献 15被引用数 6

ひとこと要約

本論文は、複数のエラスティックネットを組み合わせたベイジアン回帰混合モデルを提案し、識別的機械学習モデルのグローバルでモデル全体の説明を可能にする。意思決定境界をグローバルに近似することで、個々の予測の説明の正確性に加え、敵対的例の生成によるモデルの脆弱性の同定も可能となり、テキストおよび画像タスクにおいて、解釈可能性と検証可能性の面で最先端の技術を上回る。

ABSTRACT

It is oftentimes impossible to understand how machine learning models reach a decision. While recent research has proposed various technical approaches to provide some clues as to how a learning model makes individual decisions, they cannot provide users with ability to inspect a learning model as a complete entity. In this work, we propose a new technical approach that augments a Bayesian regression mixture model with multiple elastic nets. Using the enhanced mixture model, we extract explanations for a target model through global approximation. To demonstrate the utility of our approach, we evaluate it on different learning models covering the tasks of text mining and image recognition. Our results indicate that the proposed approach not only outperforms the state-of-the-art technique in explaining individual decisions but also provides users with an ability to discover the vulnerabilities of a learning model.

研究の動機と目的

• 深層ニューラルネットワークのような複雑な識別的モデルにおけるグローバルな解釈可能性の欠如に対処すること。
• 個々の予測を超えて、モデルの強みと弱みをユーザーが精査できるようにすること。
• 高次元で相関の高い特徴量からグローバルなパターンを抽出できるブラックボックス説明手法を開発すること。
• 抽出されたパターンに基づいて敵対的および病理的例を生成し、モデルの脆弱性を特定すること。
• LIMEのような既存の局所的説明手法を凌駕し、モデル行動の包括的視覚化を提供すること。

提案手法

• 本手法は、ターゲットMLモデルの意思決定境界をグローバル関数として近似するため、ベイジアン線形回帰混合モデルを採用する。
• 複数のエラスティックネットを混合モデルに統合し、高次元で相関のある入力データからの特徴選択とパターン抽出を強化する。
• モデルは、各々が局所的意思決定ルールを表す混合成分の集合を学習し、重要特徴を特定するための正則化を施す。
• グローバルな説明は、混合モデル全体におけるエラスティックネット正則化成分の係数と重みを分析することで得られる。
• モデルが特定したパターンを基に、敵対的および病理的入力を生成し、モデルの耐性をテストする。
• 本手法はターゲットモデルをブラックボックスとして扱い、トレーニングには入力-出力ペアのみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 グローバルな説明モデルは、複雑な識別的モデルの意思決定行動を効果的に捉えることができるか？
• RQ2 抽出されたパターンは、入力の位置や回転に対する感受性といったモデルの脆弱性を明らかにできるか？
• RQ3 LIMEのような局所的説明手法と比較して、個々の予測の説明において本手法はどのように優れているか？
• RQ4 本手法は、モデルの弱みを露呈する敵対的例をどの程度効果的に検出・生成できるか？
• RQ5 本手法は、深層ニューラルネットワークや従来の分類器を含む、さまざまな種類のモデルに一般化可能か？

主な発見

• 提案手法は、特にグローバルな意思決定パターンを捉える点で、最先端の局所的説明手法を上回り、個々の予測の説明において優れた性能を示した。
• 抽出されたパターンに基づいて生成された敵対的例は、深層ニューラルネットワークにおいて99％以上の信頼度で誤分類を引き起こし、特定の入力領域への感受性が確認された。
• 高エネルギーのパターン領域をランダム化した病理的サンプルですら、ほぼ100％の信頼度で分類されたため、モデルが人間が認識可能な特徴よりも学習済みパターンに依存していることが示された。
• テキスト分類のタスクでは、本手法が特定したキーワード（例：'dos'）を他のクラスの用語に置き換えることで、モデルの信頼度が著しく低下した。これにより、抽出されたパターンの正確性が裏付けられた。
• モデルが視覚的に類似したクラス（例：数字の4と9）を区別しにくいことが判明し、特徴の識別能力における本質的な弱みが示された。
• 本手法は、数字分類器が中心部の画像領域に強く依存しており、限定的な回転にも耐性があることが特定され、観察されたモデル行動と整合的であった。