[論文レビュー] Infusing domain knowledge in AI-based "black box" models for better explainability with application in bankruptcy prediction

Sheikh Rabiul Islam, William Eberle+2 more|arXiv (Cornell University)|May 27, 2019

Financial Distress and Bankruptcy Prediction参考文献 55被引用数 23

ひとこと要約

この論文は、破産予測におけるAIベースの「ブラックボックス」モデルの説明可能性を向上させる手法を提案している。具体的には、広く知られた「信用の5C」として知られるドメイン知識をモデルの意思決定プロセスに統合することで実現する。モデル出力を重み付き和の式を用いて解釈可能な特徴量ごとの寄与度に変換することで、予測性能を損なうことなく透明性を向上させ、金融分野のような規制が厳しい分野における実用的解決策を提供する。

ABSTRACT

Although "black box" models such as Artificial Neural Networks, Support Vector Machines, and Ensemble Approaches continue to show superior performance in many disciplines, their adoption in the sensitive disciplines (e.g., finance, healthcare) is questionable due to the lack of interpretability and explainability of the model. In fact, future adoption of "black box" models is difficult because of the recent rule of "right of explanation" by the European Union where a user can ask for an explanation behind an algorithmic decision, and the newly proposed bill by the US government, the "Algorithmic Accountability Act", which would require companies to assess their machine learning systems for bias and discrimination and take corrective measures. Top Bankruptcy Prediction Models are A.I.-based and are in need of better explainability -the extent to which the internal working mechanisms of an AI system can be explained in human terms. Although explainable artificial intelligence is an emerging field of research, infusing domain knowledge for better explainability might be a possible solution. In this work, we demonstrate a way to collect and infuse domain knowledge into a "black box" model for bankruptcy prediction. Our understanding from the experiments reveals that infused domain knowledge makes the output from the black box model more interpretable and explainable.

研究の動機と目的

• 金融や医療などのハイリスク分野で使用されるAIベースのブラックボックスモデルにおける説明可能性の欠如に対処すること。
• 「信用の5C」のような既存のドメイン知識をAIモデルに統合することで、モデルの解釈可能性を向上させること。
• モデルの予測を解釈可能なドメイン固有の特徴量からの寄与度として表現する手法を開発すること。
• EUの「説明の権利」や米国のアルゴリズム的責任法（Algorithmic Accountability Act）といった新たな規制要件への適合を確保すること。
• 複数のデータセットを用いて手法を検証し、サイバーセキュリティや医療分野を含む他の分野への応用可能性を拡張すること。

提案手法

• 金融文献からドメイン知識を収集・形式化し、特に「信用の5C」（性格、支払い能力、資本、担保、状況）を対象とする。
• ドメインの概念をモデルの特徴量にマッピングし、頻出する特徴量を解釈可能な高レベルのカテゴリに一般化する。
• 寄与度の式：P(D) = Σ contribution(g) を用い、g は一般化された頻出特徴量を表す。この式により、総合的なリスク確率を特徴量寄与度の和として表現する。
• SHAP や LIME、ELI5 といった事後解釈技術を用いて、サンプルごとの特徴量の重要度を推定するが、その一般性と範囲の制限を認識する。
• ドメイン知識をモデル解釈に統合することで、人間が理解可能な金融的推論に一致する説明を保証する。
• ドメイン知識の統合とモデルに依存しない解釈ツールを組み合わせたハイブリッドアプローチを採用し、解釈可能性と性能のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 「信用の5C」のようなドメイン知識をブラックボックスAIモデルに効果的に統合することで、破産予測における説明可能性が向上するか？
• RQ2 予測性能を損なわせることなく、モデル出力を解釈可能なドメイン固有の特徴量からの寄与度に分解できるか？
• RQ3 ドメイン知識の統合が、AI駆動の金融意思決定における人間の信頼性と透明性をどの程度向上させるか？
• RQ4 提案手法が、金融分野にとどまらず、サイバーセキュリティや医療分野など、他の分野や異なるデータセットに対しても一般化可能か？
• RQ5 ドメイン知識の統合を用いる際の、モデル性能と解釈可能性のトレードオフはどのようなものか？

主な発見

• 「信用の5C」のようなドメイン知識をブラックボックスモデルに統合することで、破産予測の説明可能性と解釈可能性が顕著に向上する。
• モデルの出力を一般化された頻出特徴量からの寄与度の和として表現でき、リスク要因の透明な分解が可能になる。
• モデルの意思決定が人間のステークホルダーにとって理解しやすくなる一方で、高い予測性能を維持している。
• SHAP や LIME といった事後解釈ツールは有用ではあるが、範囲に制限がある。ドメイン知識の統合により、より強固で一貫性のある説明フレームワークが実現する。
• EUの「説明の権利」や米国のアルゴリズム的責任法への適合が、監査可能で人間が読める説明を提供することで可能になる。
• 今後の研究では、サンプルごとの特徴量寄与度推定の最適化や、サイバーセキュリティや医療分野への手法の応用拡張が有望である。