[논문 리뷰] A Review of Multimodal Explainable Artificial Intelligence: Past, Present and Future

Shilin Sun, Wenbin An외 6명|arXiv (Cornell University)|2024. 12. 18.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 전통 ML, 딥 러닝, 판별 기반 모델, 생성형 LLM에 걸친 다중 모달 설명 가능 AI(MXAI)의 역사적 4시대 분석을 제공하며, 데이터, 모델 및 사후 해석 가능성 방법, 데이터셋 및 평가 방향을 자세히 다룬다.

ABSTRACT

Artificial intelligence (AI) has rapidly developed through advancements in computational power and the growth of massive datasets. However, this progress has also heightened challenges in interpreting the "black-box" nature of AI models. To address these concerns, eXplainable AI (XAI) has emerged with a focus on transparency and interpretability to enhance human understanding and trust in AI decision-making processes. In the context of multimodal data fusion and complex reasoning scenarios, the proposal of Multimodal eXplainable AI (MXAI) integrates multiple modalities for prediction and explanation tasks. Meanwhile, the advent of Large Language Models (LLMs) has led to remarkable breakthroughs in natural language processing, yet their complexity has further exacerbated the issue of MXAI. To gain key insights into the development of MXAI methods and provide crucial guidance for building more transparent, fair, and trustworthy AI systems, we review the MXAI methods from a historical perspective and categorize them across four eras: traditional machine learning, deep learning, discriminative foundation models, and generative LLMs. We also review evaluation metrics and datasets used in MXAI research, concluding with a discussion of future challenges and directions. A project related to this review has been created at https://github.com/ShilinSun/mxai_review.

연구 동기 및 목표

• MXAI 개발의 전통 ML에서 생성형 LLM까지의 역사적 관점을 제공한다.
• 네 가지 시대에 걸쳐 데이터 설명 가능성, 모델 설명 가능성 및 사후 설명 가능성으로 MXAI 방법을 분류한다.
• MXAI 연구에 사용되는 데이터셋 및 평가 지표를 요약한다.
• 투명하고 공정한 MXAI 시스템의 향후 도전과 방향을 논의한다.

제안 방법

• 시대별로 MXAI 방법을 분류한다: 전통 ML, 딥 러닝, 판별 기반 모델, 생성형 LLMs.
• 각 시대에서 데이터 설명 가능성, 모델 설명 가능성, 사후 설명 가능성으로 방법을 구분한다.
• 대표 모델, 기법(예: 주의 시각화, 특징 기여도, 인과 설명) 및 데이터셋을 검토한다.
• 평가 지표를 요약하고 MXAI의 도전 과제와 방향을 논의한다.

실험 결과

연구 질문

• RQ1 AI의 네 가지 역사적 시기에 걸친 MXAI 방법은 어떻게 진화해 왔는가?
• RQ2 각 MXAI 시대를 특징짓는 데이터, 모델, 사후 설명 가능성 기술은 무엇인가?
• RQ3 MXAI 연구에서 사용되는 데이터셋과 평가 지표는 무엇이며, MXAI의 향후 방향은 무엇으로 제안되는가?
• RQ4 LLM 및 다중 모달 융합의 발전이 MXAI 설명 및 신뢰성에 어떤 영향을 미치는가?

주요 결과

• MXAI는 네 시대를 포함한다: 전통 ML(2000-2009), 딥 러닝(2010-2016), 판별 기반 모델(2017-2021), 생성형 LLM(2022-2024).
• 각 시대는 데이터 설명 가능성, 모델 설명 가능성, 사후 설명 가능성으로 분석된다.
• 트랜스포머 기반 모델과 LLM은 다중 모달 설명 및 공정성에 대한 새로운 MXAI 과제와 기회를 주도한다.
• 고찰은 이전 분석의 역사적 발전 및 LLM/MXAI 설명 가능성 통합에서의 격차를 강조하며 체계적 시각과 향후 방향을 제시한다.