[논문 리뷰] Explainable AI (XAI): A Systematic Meta-Survey of Current Challenges and Future Opportunities

Waddah Saeed, Christian W. Omlin|arXiv (Cornell University)|2021. 11. 11.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 체계적 메타서베이는 설명 가능한 인공지능(XAI) 분야의 58개 연구를 종합하여 기계학습 생명주기(설계, 개발, 구현) 전반에 걸쳐 설명 가능성과 해석 가능성의 차이를 명확히 하고, 39개의 핵심 과제와 향후 연구 방향을 식별하고 체계적으로 정리한다. 이를 통해 핵심 분야에서 투명하고 신뢰할 수 있으며 도입 가능한 AI 시스템을 발전시키기 위한 종합적인 로드맵을 제공한다.

ABSTRACT

The past decade has seen significant progress in artificial intelligence (AI), which has resulted in algorithms being adopted for resolving a variety of problems. However, this success has been met by increasing model complexity and employing black-box AI models that lack transparency. In response to this need, Explainable AI (XAI) has been proposed to make AI more transparent and thus advance the adoption of AI in critical domains. Although there are several reviews of XAI topics in the literature that identified challenges and potential research directions in XAI, these challenges and research directions are scattered. This study, hence, presents a systematic meta-survey for challenges and future research directions in XAI organized in two themes: (1) general challenges and research directions in XAI and (2) challenges and research directions in XAI based on machine learning life cycle's phases: design, development, and deployment. We believe that our meta-survey contributes to XAI literature by providing a guide for future exploration in the XAI area.

연구 동기 및 목표

• 기존 리뷰에서 산재해 흩어져 있는 XAI 과제와 연구 방향의 분산된 환경을 해결하기 위해.
• 문헌에서 종종 혼동되는 설명 가능성과 해석 가능성 간의 차이를 명확히 하기 위해.
• 기계학습 생명주기 단계(설계, 개발, 구현)에 따른 일반 XAI 과제와 단계별 과제를 두 가지 주제 축을 기반으로 체계적으로 정리하고 종합하기 위해.
• 투명하고 신뢰할 수 있는 AI 시스템을 발전시키기 위해 연구자와 실무자에게 구조적이고 근거 기반의 참고 자료를 제공하기 위해.
• 추천 시스템, IoT, 5G와 같은 신규 적용 분야에서의 XAI 분야의 새로운 기회를 부각시키기 위해, 예를 들어 XAI-aaS, 맥락 기반 설명, 기호 추론 및 자연어 생성과의 통합 등

제안 방법

• 정의된 키워드 및 포함/배제 기준을 기반으로 선별된 58篇의 동료 심사 논문을 대상으로 체계적 문헌 리뷰를 수행하였다.
• 과제와 연구 방향을 두 가지 주요 주제로 분류: (1) 일반 XAI 과제, (2) 기계학습 생명주기 단계(설계, 개발, 구현) 전반의 과제.
• 주제 분석을 통해 선택된 연구들에서 반복되는 주제와 횡단적 문제를 식별하고 통합하여 통찰을 도출하였다.
• '설명 가능성'(모델 결정을 설명할 수 있는 능력)과 '해석 가능성'(모델의 본질적 이해 가능성) 간의 차이를 명확히 하여 용어 사용의 일관성을 확보하였다.
• 설명 방식(예: 텍스트, 시각적, 상호작용형)과 제공 방식(예: 실시간, 기록 저장)이 사용자 신뢰와 시스템 투명성에 미치는 영향을 평가하였다.
• 발견된 격차를 바탕으로 향후 연구 방향을 제안하였으며, 자동화된 XAI(XAI-aaS), AutoML와의 통합, 맥락 기반 설명 제공 등이 포함된다.

실험 결과

연구 질문

• RQ1 현대 AI 시스템의 맥락에서 설명 가능성과 해석 가능성은 어떻게 의미 있게 구분될 수 있는가?
• RQ2 기계학습 생명주기 전반(모델 설계에서 구현까지)을 아우르는 가장 핵심적인 XAI 과제는 무엇인가?
• RQ3 특히 추천 시스템, IoT, 5G와 같은 신규 적용 분야에서 XAI 분야의 주요 연구 격차와 향후 기회는 무엇인가?
• RQ4 사용자 신뢰와 시스템 책임성 향상을 위해 설명은 방식, 시기, 맥락 측면에서 어떻게 효과적으로 제공되어야 하는가?
• RQ5 자동화된 XAI(XAI-aaS)는 다양한 ML 파ipelines와 AutoML 시스템 전반에서 설명 가능성의 확장을 어떻게 지원할 수 있는가?

주요 결과

• 본 연구는 일반적 맥락과 생명주기별 맥락을 종합적으로 고려한 주제 군집으로 나누어 39개의 구체적 과제와 향후 연구 방향을 식별하였다.
• 규제, 과학, 산업, 사용자 중심의 관점에서 모두 고위험 분야(예: 헬스케어, 금융)에서 XAI의 필요성이 강조되고 있다.
• 책임성과 사용자 신뢰를 지원하기 위해 설명은 맥락 기반으로 동적으로 제공되어야 하며 장기적 추적 가능성을 확보하기 위해 저장되어야 한다.
• 실시간으로 사용자 질문 '왜?'에 대응할 수 있는 자연어 기반 설명 및 대화형 AI에 대한 수요가 증가하고 있다.
• XAI-aaS와 AutoML 도구(H2O, MLJAR 등)와의 통합은 다양한 모델에 걸쳐 설명 생성을 자동화하는 데 있어 새로운 추세로 부상하고 있다.
• XAI 시스템 평가 체계는 아직 부족한 편이며, 사용자 및 알고리즘적 관점에서 표준화되고 신뢰할 수 있는 평가 지표가 절실하게 필요로 한다.