[논문 리뷰] TalkToModel: Explaining Machine Learning Models with Interactive Natural Language Conversations

Dylan Slack, Satyapriya Krishna외 2명|arXiv (Cornell University)|2022. 07. 08.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

TalkToModel는 사용자가 자연어 질의를 통해 기계 학습 모델을 설명할 수 있도록 하는 상호작용형 자연어 대화 시스템을 도입한다. 대규모 언어 모델을 활용해 자연어를 실행 가능한 명령어로 해석하고 정확하며 맥락 인식형 설명을 생성한다. 평가 결과, 의료 종사자의 73%가 기존 도구보다 TalkToModel를 선호했고, 기계 학습 전문가의 85%는 이 시스템이 더 사용하기 쉬운 것으로 평가했다. 이는 직관적이고도 민첩한 모델 설명에 효과적임을 보여준다.

ABSTRACT

Machine Learning (ML) models are increasingly used to make critical decisions in real-world applications, yet they have become more complex, making them harder to understand. To this end, researchers have proposed several techniques to explain model predictions. However, practitioners struggle to use these explainability techniques because they often do not know which one to choose and how to interpret the results of the explanations. In this work, we address these challenges by introducing TalkToModel: an interactive dialogue system for explaining machine learning models through conversations. Specifically, TalkToModel comprises of three key components: 1) a natural language interface for engaging in conversations, making ML model explainability highly accessible, 2) a dialogue engine that adapts to any tabular model and dataset, interprets natural language, maps it to appropriate explanations, and generates text responses, and 3) an execution component that constructs the explanations. We carried out extensive quantitative and human subject evaluations of TalkToModel. Overall, we found the conversational system understands user inputs on novel datasets and models with high accuracy, demonstrating the system's capacity to generalize to new situations. In real-world evaluations with humans, 73% of healthcare workers (e.g., doctors and nurses) agreed they would use TalkToModel over baseline point-and-click systems for explainability in a disease prediction task, and 85% of ML professionals agreed TalkToModel was easier to use for computing explanations. Our findings demonstrate that TalkToModel is more effective for model explainability than existing systems, introducing a new category of explainability tools for practitioners. Code & demo released here: https://github.com/dylan-slack/TalkToModel.

연구 동기 및 목표

• 복잡하고 투명도가 낮은 기계 학습 모델이 전문가들이 이해하기 어려운 문제를 해결하기 위해.
• 기술적 숙련도가 필요로 하고 동적이고 이어지는 질문에 대한 지원이 부족한 기존 설명 가능성 도구의 한계를 극복하기 위해.
• 직관적이고 대화 기반의 탐색을 가능하게 하는 상호작용형 자연어 기반 시스템을 설계하여 모델 예측 및 행동을 탐색하기 위해.
• 모델 기능, 예측 및 반대 조건에 대한 민감한 대화를 가능하게 하여 다양한 도메인에서의 사용자 요구를 충족시키기 위해.
• 의료 및 기계 학습 전문가들과의 실제 환경에서의 사용성과 효과성을 평가하기 위해.

제안 방법

• 대화 엔진은 대규모 언어 모델을 사용해 사용자의 자연어 발화를 모델 작업을 위한 SQL 유사 실행 가능한 언어로 해석한다.
• 실행 엔진은 해석된 명령어를 처리하여 기능 기여도, 반대 조건, 예측 변화와 같은 설명을 계산한다.
• 시스템은 다단계 대화를 지원하며 맥락을 유지해 후속 질문에 정확히 답할 수 있다.
• 기능 기여도, 반대 조건 생성, 예측 변화, 모델 정의 질의 등 다양한 분석 유형을 지원한다.
• 고정 메시지 및 '도움 생성' 버튼과 같은 기능을 포함한 인터페이스로 사용자가 질문을 구성하는 데 도움을 준다.
• 모든 표 형태 데이터셋과 분류기와 호환되도록 설계되어 다양한 모델 유형과 데이터 유형에 광범위하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 자연어 대화 시스템이 기계 학습 모델 예측에 대해 개방형이고 맥락 인식형 대화를 효과적으로 지원할 수 있는가?
• RQ2 모델 설명을 위한 기존의 클릭 기반 대시보드와 비교해 대화형 인터페이스의 사용성은 어떻게 되는가?
• RQ3 의료 종사자와 기계 학습 전문가 등 다양한 전문성 수준의 사용자가 시스템을 효과적으로 활용해 모델 행동을 이해할 수 있는가?
• RQ4 모델 행동에 대한 복잡한 후속 질문, 예를 들어 반대 조건 추론나 기능 영향 분석과 같은 질문을 시스템이 얼마나 잘 처리할 수 있는가?
• RQ5 다양한 모델 유형과 데이터 도메인 간에 시스템이 얼마나 일반화되는가?

주요 결과

• 의료 종사자의 73%가 질병 예측 모델을 이해하기 위해 기존 시스템보다 TalkToModel를 선호한다고 동의했다.
• 기계 학습 전문가의 85%가 TalkToModel가 현재 도구보다 모델 설명을 더 쉽게 사용할 수 있다고 동의했다.
• 시스템은 복잡한 후속 질문 포함 다양한 자연어 질의를 성공적으로 해석하고 정확하며 맥락 인식형 응답을 생성했다.
• 사용자들은 간단한 대화 상호작용을 통해 반대 조건 추론 및 기능 영향 평가와 같은 고급 분석을 수행할 수 있었다.
• 시스템은 다양한 모델 유형과 데이터 유형 간에 강력한 일반화 능력을 보였으며, 다양한 설명 작업을 지원했다.
• 의도 해석을 위해 대규모 언어 모델을 통합함으로써 기술적 숙련도 없이도 사용자 질의를 정확하고도 민감하게 해석할 수 있었다.