[논문 리뷰] Bridging the Gap Between Explainable AI and Uncertainty Quantification to Enhance Trustability

Dominik Seuß|arXiv (Cornell University)|2021. 05. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 14

한 줄 요약

이 논문은 설명 가능 AI(XAI)와 불확실성 정량화(UQ)를 통합하여 사용자가 모델 설명과 결정에 대한 정량적 불확실성을 동시에 확보할 수 있도록 하여 AI 시스템의 신뢰성을 향상시키는 것을 제안한다. LRP를 통한 시각적 중요도 지도와 몽테카를로 드롭아웃을 통한 불확실성 추정 방법을 조합함으로써, 텍스트 또는 시각적 표현을 통해 인간이 이해할 수 있고 신뢰를 높이는 피드백을 제공하는 프레임워크를 구현한다.

ABSTRACT

After the tremendous advances of deep learning and other AI methods, more attention is flowing into other properties of modern approaches, such as interpretability, fairness, etc. combined in frameworks like Responsible AI. Two research directions, namely Explainable AI and Uncertainty Quantification are becoming more and more important, but have been so far never combined and jointly explored. In this paper, I show how both research areas provide potential for combination, why more research should be done in this direction and how this would lead to an increase in trustability in AI systems.

연구 동기 및 목표

• 정확도를 넘어서 신뢰할 수 있는 AI 시스템에 대한 증가하는 수요를 충족시키기 위해 해석 가능성과 불확실성 정량화를 통합한다.
• 불확실성과 인간의 모니터링 행동 간의 심리적 연관성을 규명하여, 불확실성 인식이 설명에 대한 필요성을 증가시킨다는 것을 제안한다.
• AI 시스템이 사용자에게 설명과 정량화된 불확실성을 동시에 제공함으로써 사용자 신뢰와 시스템 투명성을 향상시키는 통합 프레임워크를 제안한다.
• 책임감 있는 AI에서 '해석 가능성'의 개념을 재정의하여 신뢰 구축 수단으로 삼고, XAI와 UQ를 상호보완적인 기둥으로 삼는다.
• 사용자 기대와 인지 처리 방식에 맞추어 설명 형식(텍스트, 시각)을 인간 중심적으로 설계한다.

제안 방법

• XAI를 모델링 이전, 해석 가능한 모델링(예: 개념 활성화 벡터, Beta VAE), 그리고 모델링 이후 해석 가능성(예: LRP, ANN-DT)으로 분류한다.
• 베이즈-백프로프와 몽테카를로 드롭아웃과 같은 UQ 기법을 통합하여 예측 불확실성을 정량화한다.
• 후행 해석 방법(예: LRP)과 불확실성 표현(예: 타원형 신뢰 영역)을 결합하여 시각적 피드백을 제공한다.
• 역설적 설명을 활용하여 입력의 변화가 예측과 관련된 불확실성 수준에 어떻게 영향을 미치는지 시각화한다.
• 불확실성을 명시적으로 언어화하거나 공간적으로 표현함으로써 인간이 이해할 수 있는 형식—텍스트 또는 시각적 형식—으로 설명을 제공한다.
• 결과 모니터링의 심리학 원칙과 연계하여, 불확실성이 높을수록 인지적 참여도가 증가하고 설명에 대한 요구가 증가한다는 점을 반영한다.

실험 결과

연구 질문

• RQ1 설명 가능 AI와 불확실성 정량화를 어떻게 의미적으로 통합하여 AI 시스템의 신뢰성을 향상시킬 수 있는가?
• RQ2 텍스트, 시각, 역설적 설명 등의 설명 형식 중에서 인간 사용자에게 모델 결정과 관련된 불확실성을 가장 효과적으로 전달하는 형식은 무엇인가?
• RQ3 AI 결정에 불확실성이 존재할 경우 인간의 모니터링 행동과 신뢰 형성에 어느 정도의 영향을 미치는가?
• RQ4 XAI와 UQ를 통합한 통합 프레임워크가 사용자 이해도와 자신감 향상 측면에서 별도의 접근 방식보다 뛰어나게 작용할 수 있는가?
• RQ5 책임감 있는 AI의 '해석 가능성' 기둥을 인간-AI 상호작용의 심리적·행동적 기반을 반영하기 위해 '신뢰'로 재정의해야 하는가?

주요 결과

• XAI와 UQ를 통합함으로써 결정 투명성과 불확실성 인식을 동시에 해결함으로써 더 신뢰할 수 있는 AI 시스템이 구현된다.
• 기여된 행동 연구 결과에 따르면, 불확실성이 높을수록 인지적 모니터링 수준이 증가하여 설명과 예측 가능성의 중요성이 사용자 신뢰에 필수적임을 시사한다.
• 사용자 연구 결과에 따르면, 사례 기반 추론보다 역설적 설명이 선호되며, 이는 불확실성 인식 피드백에서의 가치를 반영한다.
• LRP 중요도 지도와 몽테카를로 드롭아웃을 통한 불확실성 추정치를 통합한 시각적 표현(예: 타원형 코딩)은 인간이 이해할 수 있고 불확실성 인식이 가능한 설명을 제공한다.
• 신뢰 수준을 명시적으로 기재한 텍스트 피드백—예: '입술이 가리켜서 30% 확신'—은 사용자 이해도와 신뢰를 향상시킨다.
• XAI와 UQ의 통합은 단순한 덧셈을 넘어서 상호보완적 효과를 발휘하며, 불확실성 원인까지 포함된 설명은 단순한 설명보다 더 효과적이다.