[논문 리뷰] Semantic XAI for contextualized demand forecasting explanations

Jože M. Rožanec, Dunja Mladenić|arXiv (Cornell University)|2021. 04. 01.

Semantic Web and Ontologies참고 문헌 37인용 수 4

한 줄 요약

이 논문은 지식 그래프를 통해 도메인 지식, 미디어 이벤트, 외부 데이터셋을 통합함으로써 수요 예측 설명을 향상시키는 의미론적 XAI 아키텍처를 제안한다. 모델 내부를 드러내지 않으면서도 가용성 있고 맥락 인식형 설명을 가능하게 하여, 미디어 이벤트 관련성에 대해 평균 정밀도 97%를 달성하고, 외부 데이터셋 추천에 대해 정확도 56%를 기록하였다.

ABSTRACT

The paper proposes a novel architecture for explainable AI based on semantic technologies and AI. We tailor the architecture for the domain of demand forecasting and validate it on a real-world case study. The provided explanations combine concepts describing features relevant to a particular forecast, related media events, and metadata regarding external datasets of interest. The knowledge graph provides concepts that convey feature information at a higher abstraction level. By using them, explanations do not expose sensitive details regarding the demand forecasting models. The explanations also emphasize actionable dimensions where suitable. We link domain knowledge, forecasted values, and forecast explanations in a Knowledge Graph. The ontology and dataset we developed for this use case are publicly available for further research.

연구 동기 및 목표

• 의도적인 의사결정 지원을 위한 해석 가능하고 맥락이 풍부한 설명이 산업 수요 예측에서 요구됨을 해결하기 위해.
• 모델 내부를 드러내지 않는 한계를 극복하기 위해 민감한 모델 세부 정보를 노출하지 않고 지역적이고 특징 수준의 설명을 제공함으로써.
• 실세계 맥락적 신호(예: 미디어 이벤트 및 외부 데이터셋)를 예측 설명에 통합하여 의사결정 지원을 향상시키기 위해.
• 다음 연구를 촉진하기 위해 재사용 가능하고 공개 가능한 지식 그래프와 데이터셋을 개발하기 위해.
• 사용자가 향후 수요 예측 정확도 향상을 위해 가용성 있는 요소와 데이터 강화 기회를 식별할 수 있도록 하기 위해.

제안 방법

• 수요 예측 설명을 생성하기 위해 의미론적 기술과 AI 모델을 결합한 모듈러한 XAI 아키텍처를 설계하기 위해.
• 도메인 지식(특징, 사건, 외부 데이터셋 포함)을 표현하기 위한 통합 온톨로지를 구축하여 의미론적 근접도 탐지 기능을 제공하기 위해.
• 예측을 이끄는 특징과 관련 뉴스 기사 간의 연결을 맺고 맥락적 관련성을 위해 关련 关련 키워드를 추출하기 위해 미디어 이벤트 검색 시스템을 구현하기 위해.
• 예측 특징와 의미론적 일치를 기반으로 예측 모델 향상에 기여할 수 있는 외부 데이터셋을 추천하기 위해 지식 그래프 추론을 적용하기 위해.
• 매핑된 유사도 측정 기반의 임베딩을 사용하여 설명에 포함하기 위해 미디어 이벤트 및 데이터셋 메타데이터를 순위 매기기 위해.
• 설명 품질과 관련성 평가를 위해 528건의 미디어 이벤트, 401건의 데이터셋 항목, 168건의 예측 설명을 수동으로 애너테이션하기 위해.

실험 결과

연구 질문

• RQ1 의미론적 기술을 어떻게 활용하여 AI 기반 수요 예측에 대해 맥락 인식형이고 가용성 있는 설명을 생성할 수 있는가?
• RQ2 검색된 미디어 이벤트와 외부 데이터셋은 예측 설명의 해석 가능성과 유용성에 어느 정도 기여하는가?
• RQ3 모델 내부를 드러내지 않고도 지식 그래프 기반 접근 방식이 예측 특징과 관련된 실세계 사건 및 데이터 소스를 효과적으로 연결할 수 있는가?
• RQ4 추천된 외부 데이터셋과 미디어 이벤트의 정확성과 관련성은 수요 예측 이해 및 향상에 어느 정도 기여하는가?
• RQ5 뉴스, 사건 등의 의미론적 맥락 통합은 수요 예측 설명의 품질과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 시스템은 미디어 이벤트 관련성에 대해 평균 정밀도@3가 97%를 달성하여 예측에 관련된 뉴스 기사의 정확한 식별 능력을 보였다.
• 검색된 미디어 이벤트 중 69%가 특정 예측 특징을 설명하는 데 의미 있는 것으로 평가되어 강력한 맥락 일치를 보였다.
• 401개의 외부 데이터셋 메타데이터 항목 중 64%가 예측 맥락과 관련이 있는 것으로 확인되어 데이터 강화 기회를 뒷받침했다.
• 외부 데이터셋 추천 시스템은 정확도 56%를 기록했으며, 관련도 추정치(RDE)가 0.41로 중간 수준이지만 의미 있는 관련성을 보였다.
• 미디어 이벤트 키워드는 평균 정밀도@3가 78%를 기록하여 설명 목적을 위한 뉴스 콘텐츠의 효과적 의미 요약을 보였다.
• 애너테이션을 통해 중요한 통찰이 도출되었으며, 오존 오염 데이터가 자동차 수요에 관련이 있고, 무선 충전 뉴스가 전기차 시장 트렌드에 영향을 준다는 점 등 맥락 기반 추론의 타당성을 입증했다.