[論文レビュー] Semantic XAI for contextualized demand forecasting explanations

Jože M. Rožanec, Dunja Mladenić|arXiv (Cornell University)|Apr 1, 2021

Semantic Web and Ontologies参考文献 37被引用数 4

ひとこと要約

本稿では、知識グラフを介してドメイン知識、メディアイベント、外部データセットを統合することで、モデル内部を露呈せずに、実行可能で文脈に配慮した説明を可能にする意味的XAIアーキテクチャを提案する。需要予測の説明を向上させるもので、メディアイベントの関連性に対して平均精度97%、外部データセットの推薦に対して56%の精度を達成した。

ABSTRACT

The paper proposes a novel architecture for explainable AI based on semantic technologies and AI. We tailor the architecture for the domain of demand forecasting and validate it on a real-world case study. The provided explanations combine concepts describing features relevant to a particular forecast, related media events, and metadata regarding external datasets of interest. The knowledge graph provides concepts that convey feature information at a higher abstraction level. By using them, explanations do not expose sensitive details regarding the demand forecasting models. The explanations also emphasize actionable dimensions where suitable. We link domain knowledge, forecasted values, and forecast explanations in a Knowledge Graph. The ontology and dataset we developed for this use case are publicly available for further research.

研究の動機と目的

• 意思決定を支援するための解釈可能で文脈豊かな説明を、産業的需要予測において必要とする。
• ブラックボックスAIモデルの限界を克服し、機密なモデル詳細を暴露せずに、局所的で特徴レベルの説明を提供する。
• メディアイベントや外部データセットなどの現実世界の文脈的手がかりを予測説明に統合し、意思決定支援を強化する。
• 説明可能な需要予測分野の研究を前進させるために、再利用可能で公開可能な知識グラフとデータセットを開発する。
• ユーザーが実行可能な要因やデータ強化の機会を特定し、将来の予測精度を向上させることを可能にする。

提案手法

• 意味的技術とAIモデルを組み合わせたモジュラーXAIアーキテクチャを設計し、需要予測の説明を生成する。
• ドメイン知識（特徴、イベント、外部データセットを含む）を統一したオントロジーとして表現し、意味的近接度検出を可能にする。
• 予測を駆動する特徴と関連するニュース記事をリンクし、文脈的関連性を抽出するためのメディアイベント検索システムを実装する。
• 知識グラフの推論を用いて、予測特徴と整合性のある外部データセットを、意味的整合性に基づいて推薦する。
• 埋め込みベースの類似度測定を用いて、説明に含めるためのメディアイベントおよびデータセットメタデータの順序付けを行う。
• 説明の質と関連性を評価するため、528件のメディアイベント、401件のデータセットエントリ、168件の予測説明を手動でアノテートした。

実験結果

リサーチクエスチョン

• RQ1 意味的技術を活用することで、文脈に配慮した実行可能な説明をAI駆動の需要予測に対して生成できるか。
• RQ2 検索されたメディアイベントおよび外部データセットは、予測説明の解釈可能性と有用性をどの程度向上させるか。
• RQ3 モデル内部を露呈せずに、知識グラフベースのアプローチが予測特徴と関連する現実世界の出来事やデータソースを効果的に結びつけられるか。
• RQ4 外部データセットおよびメディアイベントの推薦の正確性と関連性は、予測理解と改善を支援する上でどの程度高いか。
• RQ5 ニュースや出来事などの意味的文脈を統合することで、需要予測の説明の質と信頼性はどの程度向上するか。

主な発見

• メディアイベントの関連性について、平均精度@3が97%に達し、予測に文脈的に関連するニュースを高精度で同定していることが示された。
• 検索されたメディアイベントの69%が、特定の予測特徴を説明するために意味的であると評価され、強い文脈的一致性が示された。
• 401件の外部データセットメタデータエントリのうち64%が予測文脈に関連していると判明し、データ強化の機会を支持した。
• 外部データセット推薦システムは56%の精度を達成し、関連度推定値（RDE）が0.41であった。これは中程度のが関連性があることを示している。
• メディアイベントのキーワードは平均精度@3で78%を達成し、説明目的のためのニュースコンテンツの効果的な意味的要約が可能であることを示した。
• アノテーションから顕著なインサイトが得られた。例えば、オゾン汚染データが自動車需要に関連していること、無線充電のニュースがEV市場動向に関連していることが判明し、文脈的推論の妥当性が検証された。