[논문 리뷰] Mediators: Conversational Agents Explaining NLP Model Behavior

Nils Feldhus, Ajay Madhavan Ravichandran외 1명|arXiv (Cornell University)|2022. 06. 13.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 대화형 자연어 대화를 통해 신경망 NLP 모델의 동작을 설명하는 대화형 에이전트인 Mediators를 소개한다. 감성 분석 분야에 대한 Mediators의 모듈식 블루프린트를 제안하고, 이러한 시스템을 훈련시키는 데 있어 핵심 과제를 규명하며, HCXAI 이론과 NLP 실무 간 격차를 메우기 위해 새로운 데이터셋과 평가 방법의 필요성을 제기한다.

ABSTRACT

The human-centric explainable artificial intelligence (HCXAI) community has raised the need for framing the explanation process as a conversation between human and machine. In this position paper, we establish desiderata for Mediators, text-based conversational agents which are capable of explaining the behavior of neural models interactively using natural language. From the perspective of natural language processing (NLP) research, we engineer a blueprint of such a Mediator for the task of sentiment analysis and assess how far along current research is on the path towards dialogue-based explanations.

연구 동기 및 목표

• NLP 모델 해석 가능성 분야에서 대화 기반의 상호작용적 설명의 부족을 해결한다.
• 설명을 대화로 프레임워크화하여 인간 중심의 해석 가능한 AI(HCXAI)와 NLP 연구 간 격차를 메운다.
• 사용자가 대화를 통해 반복적으로 명확화할 수 있도록 함으로써 사용자의 인지 부하를 줄인다.
• 설명 생성, 이해, 대화 추적을 지원하는 모듈식이고 확장 가능한 프레임워크를 제공한다.
• NLP에서 설명 대화를 위해 특화된 새로운 데이터셋과 평가 프로토콜의 필요성을 부각시킨다.

제안 방법

• 설명 생성, 자연어 응답, 사용자 입력 이해, 대화 상태 추적 등의 별도 모듈로 구성된 모듈식 Mediator 아키텍처를 설계한다.
• 실제 적용 사례로 감성 분석에 Mediator 프레임워크를 적용하여 각 모듈이 어떻게 기능하는지 실증한다.
• 모델 내부 설명과 자연어 서사의 조합을 통해 신뢰성과 타당성을 균형 잡는 보완적 해석 방법을 통합한다.
• 사용자가 추가 질문을 던지고 Mediator가 사용자 피드백에 기반해 설명을 반복적으로 개선하는 대화 기반 설명 프로세스를 제안한다.
• 사용자-사용자 설명 대화와 정보 탐색 기반 QA 데이터셋을 기반으로 하여 Mediator 훈련을 위한 데이터 수집 전략을 제안한다.
• 개발 과정에서 Mediator 행동을 평가하고 향상시키기 위해 Wizard-of-Oz 연구와 사용자 피드백 메커니즘(예: 리커트 척도 평가)을 권장한다.

실험 결과

연구 질문

• RQ1 어떻게 대화형으로 자연어 대화를 통해 NLP 모델 행동을 설명할 수 있는 대화형 에이전트를 설계할 수 있는가?
• RQ2 대화 기반 설명을 지원하기 위해 Mediator가 필요로 하는 핵심 구성 요소와 모듈식 아키텍처는 무엇인가?
• RQ3 Mediator는 모델 내부 구조에 대한 충실성과 타당성 및 사용자 이해 간의 균형을 어떻게 유지할 수 있는가?
• RQ4 효과적인 NLP를 위한 Mediator를 개발하기 위해 필요한 훈련 데이터와 평가 프로토콜는 무엇인가?
• RQ5 사용자의 정신 모델에 적응하고 반복적 대화를 통해 인지 부하를 줄이기 위해 Mediator는 어떻게 작동할 수 있는가?

주요 결과

• HCXAI 이론에 강력한 기초가 있음에도 불구하고, 현재 NLP 연구는 여전히 대화 기반 설명의 필요성을 다루지 못하고 있다.
• 자연어 설명은 수치적 또는 어텐션 기반 설명보다 더 타당성 있고 접근하기 쉬운 반면, 과도한 신뢰를 유도할 위험이 있다.
• 자유 텍스트 모델을 사용할 경우 충실한 설명을 얻는 것이 어렵다는 점을 시사하며, 보완적 해석 방법의 필요성을 강조한다.
• 현재 설명 대화를 위한 데이터셋은 흐리며, 정보 탐색 기반 QA나 사용자-사용자 대화 데이터셋은 Mediator 훈련에 부분적으로만 적합하다.
• Mediator 프레임워크는 사용자 기대와 정신 모델에 부합하기 위해 철저하고 지속적인 평가 및 사용자 피드백 메커니즘이 필요하다.
• Mediator를 위한 데이터 수집은 특히 사용자 피드백이 포함된 원자 수준의 설명 생성에 있어 상당한 노력이 수반되며, 맞춤형 애너테이션 체계가 필요할 수 있다.