[論文レビュー] Human Understandable Explanation Extraction for Black-box Classification Models Based on Matrix Factorization

Jaedeok Kim, Jingoo Seo|arXiv (Cornell University)|Sep 18, 2017

Explainable Artificial Intelligence (XAI)参考文献 15被引用数 4

ひとこと要約

本稿では、寄与行列を構築し、非負値行列分解（NMF）を適用することで、ブラックボックス分類モデルから人間が理解しやすいルール型の説明を抽出する行列分解ベースの手法を提案する。この手法は、オープンデータセットおよび産業分野のデータセットにおいて、専門家の知識と整合する直感的で解釈可能なルールを効果的に生成し、モデルの検査効率を顕著に向上させる。

ABSTRACT

In recent years, a number of artificial intelligent services have been developed such as defect detection system or diagnosis system for customer services. Unfortunately, the core in these services is a black-box in which human cannot understand the underlying decision making logic, even though the inspection of the logic is crucial before launching a commercial service. Our goal in this paper is to propose an analytic method of a model explanation that is applicable to general classification models. To this end, we introduce the concept of a contribution matrix and an explanation embedding in a constraint space by using a matrix factorization. We extract a rule-like model explanation from the contribution matrix with the help of the nonnegative matrix factorization. To validate our method, the experiment results provide with open datasets as well as an industry dataset of a LTE network diagnosis and the results show our method extracts reasonable explanations.

研究の動機と目的

• 実世界のAIサービスで使用されるブラックボックス分類システムにおけるモデルの解釈可能性という重要な課題に取り組む。
• サービスプロバイダーがモデルの挙動を迅速に検査・検証でき、開発コストの低減と信頼の障壁の軽減を可能にする。
• 特に数値特徴を持つモデルに適用可能な汎用的な手法を開発する。
• モデルの裏側の意思決定制約を反映するルール型の説明を抽出する。
• 高性能なブラックボックスモデルと人間が理解可能なモデル検査の間の溝を埋める。

提案手法

• すべてのインスタンスにおいて各特徴量がモデル予測に与える影響を定量化する寄与行列を構築する。
• 寄与行列に非負値行列分解（NMF）を適用し、低次元かつ解釈可能な空間で潜在的な意思決定制約を抽出する。
• NMFの基底ベクトルを原子的な意思決定ルールとし、これらを組み合わせて複合的でルールに類似したモデル説明を構築する。
• モデルの説明を集合近似問題として定式化し、元のモデルの予測パーティションをできるだけ正確に再現することを目的とする。
• モデルの表現力と解釈可能性のバランスを取るために、ハイパーパrameter k（NMFの成分数）を最適化する。
• 説明の質の指標としてF1スコアを用い、ルールの明確さに関する定性的分析も併せて実施する。

実験結果

リサーチクエスチョン

• RQ1 汎用的な手法として、多様なブラックボックス分類モデルから人間が理解しやすいルール型の説明を抽出できるか？
• RQ2 行列分解は、モデルの予測を支配する潜在的な意思決定制約をどれほど効果的に特定できるか？
• RQ3 抽出された説明は、実世界の産業分野のデータセットにおいて専門家が定義したルールとどの程度一致するか？
• RQ4 NMFのハイパーパrameter k の選択が、説明の質と解釈可能性にどのように影響を与えるか？
• RQ5 本手法は、異なるデータセットやモデルタイプにおいて一貫性があり意味のある説明を生成できるか？

主な発見

• 提案手法は、説明の質に関するF1スコアが高く、大多数のデータセットで良好な性能を示しており、元のモデルの意思決定パーティションを良好に近似していることが示された。
• 皮膚科データセットでは、単純なルール形式で暗黙の特徴相互作用を表現する能力に限界があるため、モデル間での性能差が顕著に現れた。
• 抽出された説明は直感的で直接的に解釈可能である。例えば、アイrisデータセットにおけるセットォサ種の分類では「がく幅 ≤ 3」といった明確なルールが得られ、人間にとっての読みやすさが明確に示された。
• LTEネットワーク診断データセットでは、抽出されたルールが専門家が作成したガイドラインとよく一致しており、実用的妥当性が確認された。
• NMFのハイパーパrameter k を増加させることでF1スコアが向上したため、複雑な意思決定制約を捉えるには十分な基底成分数が必要であることが示された。
• 本手法は、分類カテゴリごとに説明埋め込みを効果的にクラスタリングしており、共有された意思決定論理が的確に捉えられていることが確認された。