[논문 리뷰] Domain-Level Explainability -- A Challenge for Creating Trust in Superhuman AI Strategies

Jonas Andrulis, Ole Meyer외 3명|arXiv (Cornell University)|2020. 11. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 4

한 줄 요약

이 논문은 복잡한 실생활 전략 환경에서 딥 강화 학습(DRL)을 통해 유도된 초인간 AI 전략에 대한 신뢰를 구축하기 위해 도메인 수준의 해석 가능성(explainability)이 필수적이라고 주장한다. 기존의 XAI 방법론이 직관에 어긋나는 DRL 정책에 대해 의미 있고 전문가가 이해할 수 있는 설명을 제공하지 못함을 지적하며, 전략적 사고, 시나리오 계획, 불확실성 모델링에 기반한 새로운 해석 가능성 프레임워크의 필요성을 제기한다. 이를 통해 인간 전문가가 초인간 AI 의사결정을 해석하고 신뢰할 수 있도록 해야 한다.

ABSTRACT

For strategic problems, intelligent systems based on Deep Reinforcement Learning (DRL) have demonstrated an impressive ability to learn advanced solutions that can go far beyond human capabilities, especially when dealing with complex scenarios. While this creates new opportunities for the development of intelligent assistance systems with groundbreaking functionalities, applying this technology to real-world problems carries significant risks and therefore requires trust in their transparency and reliability. With superhuman strategies being non-intuitive and complex by definition and real-world scenarios prohibiting a reliable performance evaluation, the key components for trust in these systems are difficult to achieve. Explainable AI (XAI) has successfully increased transparency for modern AI systems through a variety of measures, however, XAI research has not yet provided approaches enabling domain level insights for expert users in strategic situations. In this paper, we discuss the existence of superhuman DRL-based strategies, their properties, the requirements and challenges for transforming them into real-world environments, and the implications for trust through explainability as a key technology.

연구 동기 및 목표

• 복잡한 실생활 전략 환경에서 초인간 DRL 전략을 설명하는 데 있어 핵심 과제를 규명하는 것.
• 현재의 XAI 방법론이 비기술 전문가에게 도메인 수준의 투명성을 제공하는 데 부적절하다고 주장하는 것.
• 미래 예측, 가정적 상황, 위험 및 불확실성에 초점을 맞춘 전략적 해석 가능성(strategic explainability)이 DRL 시스템에 통합되어야 하며, 이로써 신뢰를 가능하게 해야 한다고 제안하는 것.
• 기술적 AI 해석 가능성과 도메인 전문가의 전략적 이해 사이의 격차를 메우는 것.
• 기존의 전략 모델링 도구(예: 시나리오 계획)를 DRL 에이전트의 XAI 프레임워크에 적응 적용할 것을 주장하는 것.

제안 방법

• 공간-시간 추론, 협업, 불확실성, 자원 관리, 상대방 모델링, 적대적 계획, 큰 상태/행동 공간을 포함한 7개의 핵심 과제(C1–C7)를 통해 DRL 에이전트의 전략적 복잡성을 분석하는 것.
• 이 과제들을 전략적 해석 가능성의 4개 핵심 차원(E1–E4)으로 매핑하는 것: 미래 예측, 가정적 시나리오, 위험 및 안전, 모델 불확실성.
• 도메인 수준의 해석 가능성은 입력-출력 설명을 넘어서, 비기술 전문가가 접근 가능한 방식으로 전략적 사고를 모델링해야 한다고 제안하는 것.
• 미래 상태와 '만약 그렇다면' 결과를 시뮬레이션할 수 있는 설명 가능한 AI 시스템 설계를 위해 시나리오 계획 방법론을 기반으로 삼는 것.
• 불확실성과 분포 외 데이터를 정량적으로 측정하고 탐지할 수 있는 XAI 시스템의 필요성을 강조하는 것.
• 해석 가능성 도구를 AI 에이전트 내부에 직접 통합하여 전문가 검증과 신뢰 구축이 즉각적으로 가능하도록 해야 한다고 주장하는 것.

실험 결과

연구 질문

• RQ1 어떻게 DRL 시스템의 해석 가능성을 향상시켜 복잡한 전략적 환경에서 비직관적인 초인간 전략을 이해할 수 있도록 도메인 전문가를 지원할 수 있는가?
• RQ2 현재의 XAI 방법론이 DRL 기반 전략적 의사결정에 대해 의미 있고 도메인 수준의 설명을 제공하지 못하는 데 있어 핵심적인 구조적 및 인지적 장벽은 무엇인가?
• RQ3 기존의 전략 모델링 기법(예: 시나리오 계획)을 어떻게 적응시켜 실생활 응용에서 DRL 에이전트의 해석 가능성을 제공할 수 있는가?
• RQ4 해석 가능성 시스템은 어떻게 불확실성, 위험, 가정적 미래 상태를 정량적으로 타당하고 비전문가 사용자에게 직관적으로 이해할 수 있도록 다룰 수 있는가?
• RQ5 실증적 검증이 불가능한 상황에서 초인간 AI 전략에 대한 신뢰를 확보하기 위한 필수 조건는 무엇이며, 해석 가능성은 어떻게 이러한 역할을 수행할 수 있는가?

주요 결과

• 입력-출력 또는 대조적 설명 기법만으로는 초인간 DRL 정책의 전략적 복잡성을 유지할 수 없으며, 기존의 XAI 방법론(예: 후행 설명 모델)이 해석 가능성 향상을 위해 단순화될수록 이는 더욱 악화된다.
• 초인간 DRL 전략은 본질적으로 비직관적이며, 표준 입력-출력 또는 대조적 설명 기법만으로는 의미 있는 설명이 불가능하다.
• 도메인 수준의 해석 가능성은 공간-시간 추론, 협업, 불확실성 하에서의 의사결정, 자원 관리, 상대방 모델링, 적대적 계획, 큰 상태/행동 공간을 포함한 7개의 핵심 전략 과제를 다루어야 한다.
• 가장 유망한 전망은 시나리오 계획 도구를 DRL 해석 가능성에 적응 적용하는 것으로, 이는 미래 예측(E1), 가정적 시나리오 분석(E2), 위험 정량화(E3), 불확실성 모델링(E4)을 가능하게 한다.
• 장기적인 전략적 사고를 즉각적인 행동을 넘어서 표현할 수 있는, 맥락 인식형, 사용자 적응형 해석 가능성 프레임워크의 필요성이 절실하다.
• 도메인 수준의 전략적 해석 가능성 없이, 복잡한 실생활 시나리오에서 인간 전문가를 초월하는 성능을 내더라도 초인간 DRL 시스템에 대한 신뢰는 구축될 수 없다.