[論文レビュー] Open the Black Box Data-Driven Explanation of Black Box Decision Systems

Dino Pedreschi, Fosca Giannotti+5 more|arXiv (Cornell University)|Jun 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 39被引用数 36

ひとこと要約

本稿では、統計的・因果的解釈可能性を備えたデータ駆動型論理ルールを用いてブラックボックス意思決定システムを説明する、局所からグローバルへのフレームワークを提案する。個々のインスタンスの周囲でブラックボックスを局所的に問い合わせ、その説明を一般化してグローバルで理解しやすいルールにすることで、多様な分野にわたり透明性があり、公平で監査可能な意思決定が可能になる。

ABSTRACT

Black box systems for automated decision making, often based on machine learning over (big) data, map a user's features into a class or a score without exposing the reasons why. This is problematic not only for lack of transparency, but also for possible biases hidden in the algorithms, due to human prejudices and collection artifacts hidden in the training data, which may lead to unfair or wrong decisions. We introduce the local-to-global framework for black box explanation, a novel approach with promising early results, which paves the road for a wide spectrum of future developments along three dimensions: (i) the language for expressing explanations in terms of highly expressive logic-based rules, with a statistical and causal interpretation; (ii) the inference of local explanations aimed at revealing the logic of the decision adopted for a specific instance by querying and auditing the black box in the vicinity of the target instance; (iii), the bottom-up generalization of the many local explanations into simple global ones, with algorithms that optimize the quality and comprehensibility of explanations.

研究の動機と目的

• 機械学習ベースの意思決定システムがブラックボックスとして動作することによる透明性の欠如と潜在的なバイアスの問題に対処すること。
• 利用者、規制当局、開発者を含むステークホルダーが、自動意思決定を理解し、監査し、挑戦できるようにすること。
• 内部構造に依存しない、実用的で汎用的な説明手法を構築すること。
• GDPRの説明権利に準拠し、直感的で意味のある説明を提供すること。
• 利用者や機関が自動化システムにおける不平等または差別的結果を検出・是正できるようにすること。

提案手法

• 統計的信頼性と因果的妥当性を備えた、表現力の高い論理ルール言語を用いて説明を表現する。
• 特定の入力インスタンスの近傍でブラックボックスを問い合わせることで、その意思決定の根拠を局所的に推定する。
• 背景知識と学習済みルールを統合するためのルール変換演算子を適用し、より上位レベルの一般化を可能にする。
• 下位から上位への抽象化により、複数の局所的説明を1つのグローバルルールセットに一般化し、忠実度と単純さを最適化する。
• ブラックボックスの内部アーキテクチャにアクセスせずに、意思決定記録（入力-出力ペア）のデータを活用して説明モデルの学習と検証を行う。
• ウォッチドッグプラットフォームを介した参加型でプライバシーを守るデータ収集を統合し、説明発見のための証拠を蓄積する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスシステムが下す個々の意思決定に対して、正確で解釈可能かつ因果的に意味のある説明をどのように生成できるか。
• RQ2 複雑な意思決定論理を、統計的に妥当かつ人間が理解可能な形で効果的に表現するための形式的言語とルール構造は何か。
• RQ3 個々のインスタンスから得た局所的説明を、一貫性があり高カバレッジのグローバル説明に体系的に一般化する方法は何か。
• RQ4 このフレームワークは、自動意思決定システムにおける公平性監査および差別的行動の検出をどのように支援できるか。
• RQ5 モデル内部にアクセスできない状況でも、実世界の応用においてスケーラブルで実用的な説明プロセスをどのように実現できるか。

主な発見

• 局所からグローバルへのフレームワークにより、ブラックボックスの忠実度を保ちつつ、理解しやすいグローバル意思決定ルールの発見が可能になる。
• ルール変換演算子により、特徴情報と背景知識を統合することで、上位レベルのルール（例：郵便番号から配達可否への変換）の合成が可能になる。
• この手法はルールの因果的解釈をサポートしており、少数民族居住地域が配達資格に影響を与えるなど、間接的差別パターンの検出が可能になる。
• フレームワークは下位のモデルに依存しないため、人間が関与するシステムやハイブリッドモデルを含む、あらゆる意思決定システムに適用可能である。
• 非専門家ユーザーにとって意味的で実行可能な説明を提供するため、GDPRの説明権利に準拠する。
• 参加型データ収集メカニズムを統合することで、説明発見のスケーラビリティが向上し、利用者とデータ駆動型組織間の情報非対称性を低減できる。