[論文レビュー] Hybrid Decision Making: When Interpretable Models Collaborate With Black-Box Models.

Tong Wang|arXiv (Cornell University)|Feb 12, 2018

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 6

ひとこと要約

この論文では、解釈可能なルール集合とブラックボックスモデルを統合して、正確で説明可能な予測を提供するハイブリッド意思決定モデルCoBRUSHを提案する。入力インスタンスはまずルールに照合され、該当するルールがない場合にのみブラックボックスモデルが起動され、ブラックボックスモデル単体と同等またはそれ以上の精度を達成しながら、解釈可能性を向上させ、モデルの複雑さを低減する。

ABSTRACT

Interpretable machine learning models have received increasing interest in recent years, especially in domains where humans are involved in the decision-making process. However, the possible loss of the task performance for gaining interpretability is often inevitable. This performance downgrade puts practitioners in a dilemma of choosing between a top-performing black-box model with no explanations and an interpretable model with unsatisfying task performance. In this work, we propose a novel framework for building a Hybrid Decision Model that integrates an interpretable model with any black-box model to introduce explanations in the decision making process while preserving or possibly improving the predictive accuracy. We propose a novel metric, explainability, to measure the percentage of data that are sent to the interpretable model for decision. We also design a principled objective function that considers predictive accuracy, model interpretability, and data explainability. Under this framework, we develop Collaborative Black-box and RUle Set Hybrid (CoBRUSH) model that combines logic rules and any black-box model into a joint decision model. An input instance is first sent to the rules for decision. If a rule is satisfied, a decision will be directly generated. Otherwise, the black-box model is activated to decide on the instance. To train a hybrid model, we design an efficient search algorithm that exploits theoretically grounded strategies to reduce computation. Experiments show that CoBRUSH models are able to achieve same or better accuracy than their black-box collaborator working alone while gaining explainability. They also have smaller model complexity than interpretable baselines.

研究の動機と目的

• 意思決定システムにおけるモデルの解釈可能性と予測性能のトレードオフを解消すること。
• ブラックボックスモデルに比べてしばしば性能が劣る解釈可能なモデルの限界を克服すること。
• 高い予測精度を維持しつつ、人間が理解可能な説明を導入するフレームワークを開発すること。
• 精度、解釈可能性、データの説明可能性をバランスさせる原理的で整合性のある目的関数を導入すること。
• 計算コストが著しく増大しないように、ハイブリッドモデルをスケーラブルに訓練するための効率的アルゴリズムを設計すること。

提案手法

• 入力インスタンスがまず論理ルール集合に対して評価されるハイブリッド意思決定フレームワークを提案する。
• ルールが満たされた場合、モデルは直接ルール集合から意思決定を出力する。そうでない場合はブラックボックスモデルが起動される。
• 解釈可能なモデルにルーティングされたデータインスタンスの割合を測定する新しい指標「説明可能性（explainability）」を導入する。
• 予測精度、モデルの解釈可能性、データの説明可能性を同時に最適化する共同目的関数を設計する。
• 理論的に裏付けられた戦略を用いた効率的な探索アルゴリズムを開発し、トレーニングの複雑さを低減する。
• ルール生成とブラックボックスモデル統合の両方を同時に最適化することで、CoBRUSHモデルをエンドツーエンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドモデルは、人間が理解可能な意思決定を提供しつつ、予測精度を維持または向上させることができるか？
• RQ2 解釈可能なルールにルーティングされるデータの割合（説明可能性）が、全体のモデルパフォーマンスに与える影響はいかほどか？
• RQ3 完全に解釈可能なベースラインと比較して、ハイブリッドモデルはどの程度モデルの複雑さを低減できるか？
• RQ4 精度、解釈可能性、説明可能性の共同最適化が、実世界の導入に与える影響はいかほどか？
• RQ5 提案されたトレーニングアルゴリズムは、モデル品質を損なわずに大規模データセットにも効率的にスケーリングできるか？

主な発見

• CoBRUSHモデルは、孤立して訓練されたブラックボックス協同者と同等またはそれ以上の予測精度を達成する。
• ハイブリッドモデルは、完全に解釈可能なベースラインと比較して、モデルの複雑さが改善されている。
• 多数のインスタンスが解釈可能なルールコンポーネントにルーティングされており、パフォーマンスを損なわずに説明可能性が向上している。
• 理論的に裏付けられた探索戦略を用いることで、提案されたトレーニングアルゴリズムが計算コストを効果的に低減している。
• 共同最適化フレームワークは、実際の運用において予測精度、解釈可能性、データの説明可能性をうまくバランスさせている。
• 実証結果から、ハイブリッド手法は単体の解釈可能なモデルよりも、精度および複雑さの両方の指標で優れていることが確認された。