[論文レビュー] Trepan Reloaded: A Knowledge-driven Approach to Explaining Artificial Neural Networks

Roberto Confalonieri, Tillman Weyde+2 more|arXiv (Cornell University)|Jun 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 44被引用数 19

ひとこと要約

本論文では、ドメイン固有のオントロジーを意思決定木抽出中に統合することで、人工ニューラルネットワークからのグローバル後向き解釈の理解可能性を向上させる、Trepanアルゴリズムの知識駆動型拡張版であるTrepan Reloadedを提案する。この手法は、金融および医療分野におけるユーザー理解を向上させるが、モデルの忠実性や精度を著しく損なわない。

ABSTRACT

Explainability in Artificial Intelligence has been revived as a topic of active research by the need of conveying safety and trust to users in the `how' and `why' of automated decision-making. Whilst a plethora of approaches have been developed for post-hoc explainability, only a few focus on how to use domain knowledge, and how this influences the understandability of global explanations from the users' perspective. In this paper, we show how ontologies help the understandability of global post-hoc explanations, presented in the form of symbolic models. In particular, we build on Trepan, an algorithm that explains artificial neural networks by means of decision trees, and we extend it to include ontologies modeling domain knowledge in the process of generating explanations. We present the results of a user study that measures the understandability of decision trees using a syntactic complexity measure, and through time and accuracy of responses as well as reported user confidence and understandability. The user study considers domains where explanations are critical, namely, in finance and medicine. The results show that decision trees generated with our algorithm, taking into account domain knowledge, are more understandable than those generated by standard Trepan without the use of ontologies.

研究の動機と目的

• 説明可能なAI分野における、ドメイン知識の統合による説明の理解可能性の向上というギャップに対処すること。
• 意思決定木生成中にオントロジーを用いることで、ユーザーがブラックボックスモデルの説明をよりよく理解できるかを調査すること。
• 高リスク分野におけるユーザーのパフォーマンス、自信、および説明の理解可能性に、オントロジーを活用した説明が与える影響を評価すること。
• 代替的決定木の忠実性と精度を維持しつつ、意味的拡張によって解釈可能性を向上させること。

提案手法

• 事前に定義されたオントロジーにおけるより一般的な概念に関連する特徴を優先するように、分割選択ロジックを変更することで、元のTrepanアルゴリズムをドメイン知識を統合するように拡張する。
• オントロジーを用いて意思決定木のノードに意味的情報を付加し、シンボリックな説明の解釈可能性を向上させる。
• 生成された意思決定木の技術的解釈可能性を評価するために、文法的複雑性の指標を用いる。
• オントロジー統合あり・なしの意思決定木を比較するユーザースタディを実施し、反応時間、正答率、自信、および自己報告による理解度を測定する。
• 説明の明確さが信頼性や意思決定に不可欠な高リスク分野（金融および医療）に焦点を当てる。
• 実際のユーザーを対象とした制御された実験デザインを採用し、オントロジー強化型説明の認知的および知覚的影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 オントロジーによるドメイン知識の統合が、ニューラルネットワークから生成されるグローバル後向き説明の理解可能性を向上させるか？
• RQ2 オントロジーを活用した特徴選択は、意思決定木の文法的複雑性と認知的負荷にどのように影響するか？
• RQ3 オントロジーの活用が、ユーザーの正答率、反応時間、および自己報告による自信にどの程度向上効果をもたらすか？
• RQ4 オントロジーに基づく説明は、標準的なTrepanが生成する木と比較して、高い忠実性と精度を維持できるか？

主な発見

• ドメインオントロジーを統合したTrepan Reloadedが生成する意思決定木は、ユーザーが報告する理解度と自信の観点から、標準的なTrepanのものよりも顕著に理解しやすかった。
• オントロジーに基づく意味的情報が説明に組み込まれた場合、ユーザーは質問に対してより速くかつ正確に回答しており、認知的負荷の低減が示された。
• オントロジーを用いた場合、意思決定木の文法的複雑性が低く抑えられており、構造的な明確さと読みやすさの向上が示された。
• 代替的決定木の忠実性と精度にほとんど影響を与えることなく、理解可能性の向上が達成された。
• 結果として、オントロジー統合により説明の質が向上し、モデルのパフォーマンスを犠牲にすることなく、特に医療や金融などの高リスク分野で有効であることが示された。
• 本研究は、構造化されたオントロジーを介してドメイン知識が、より解釈可能でユーザーフレンドリーな説明を形成する上で極めて重要な役割を果たすことを確認した。