[논문 리뷰] Argument Harvesting Using Chatbots

Lisa A. Chalaguine, Anthony Hunter외 2명|arXiv (Cornell University)|2018. 05. 11.

Multi-Agent Systems and Negotiation참고 문헌 8인용 수 7

한 줄 요약

이 논문은 행동 변화 맥락에서 사용자로부터 실제 세계의 주장을 자동으로 수집하기 위해 경량 챗봇을 통해 논증 수확을 제안한다. 단순하고 도메인에 종속되지 않은 챗봇을 사용하여 대화를 통해 주장을 수집하고, 그 배경이 되는 가치로 분류하며, 의미적으로 유사한 주장을 군집하고, 상호 교체 가능한 반론을 식별한다. 이는 유사한 주장에 매칭되었을 때 80퍼센트의 적절한 반론이 효과적으로 인식된다는 것을 입증한다.

ABSTRACT

Much research in computational argumentation assumes that arguments and counterarguments can be obtained in some way. Yet, to improve and apply models of argument, we need methods for acquiring them. Current approaches include argument mining from text, hand coding of arguments by researchers, or generating arguments from knowledge bases. In this paper, we propose a new approach, which we call argument harvesting, that uses a chatbot to enter into a dialogue with a participant to get arguments and counterarguments from him or her. Because it is automated, the chatbot can be used repeatedly in many dialogues, and thereby it can generate a large corpus. We describe the architecture of the chatbot, provide methods for managing a corpus of arguments and counterarguments, and an evaluation of our approach in a case study concerning attitudes of women to participation in sport.

연구 동기 및 목표

• 계산적 논증 분야에서 스케일러블하고 실제 세계의 주장을 확보할 수 있는 방법의 부족을 해결하기 위해.
• 최소한의 도메인 지식을 가진 챗봇이 행동 변화에 관해 사용자로부터 의미 있고 가치 기반의 주장을 효과적으로 유도할 수 있는지 탐색하기 위해.
• 의미적으로 유사하고 가치가 유사한 주장들이 군집화되고, 이들 간에 반론을 상호 교체 가능하게 사용할 수 있는지 조사하기 위해.
• 자동 대화 시스템을 위한 주장과 반론의 수확, 분류, 재사용을 위한 파이프라인을 개발하기 위해.

제안 방법

• 패턴 매칭과 대명사 치환을 사용한 단순하고 일반적인 챗봇을 설계하여 행동 변화 주제에 관해 사용자와 대화를 나누도록 한다 (Eliza의 영향을 받음).
• 참가자들이 스포츠 참가에 관해 주장을 제시하고 반론을 제시할 수 있도록 커뮤니티 기반 실험을 수행한다.
• 참가자들이 자가 할당한 가치를 기반으로 훈련된 지도 학습 분류기를 사용해 수집된 주장을 그 배경 가치로 분류한다.
• 의미적 유사도(임bedding 모델을 통해)와 공통 가치를 사용하여 주장을 군집화한다.
• 유사한 주장 군집에서 효과적인 반론을 검색하고 재사용하여 후보 반론을 생성한다.
• 반론의 적합성을 50퍼센트 이상의 수용 기준을 설정하여 사용자 승인 평가를 통해 평가한다.

실험 결과

연구 질문

• RQ1 최소한의 도메인 지식을 가진 챗봇이 행동 변화 주제에 관해 사용자로부터 의미 있고 실제 세계의 주장을 효과적으로 수확할 수 있는가?
• RQ2 유사한 주장을 제시하는 사람들이 동일한 배경 가치를 공유하는가? 이러한 가치는 신뢰성 있게 예측할 수 있는가?
• RQ3 의미적으로 유사한 주장에 적용되었을 때 반론이 효과적인가? 이들은 상호 교체 가능하게 간주될 수 있는가?
• RQ4 어느 정도까지 주장 군집을 활용하여 효과적인 반론을 생성하고 검증할 수 있는가?

주요 결과

• 이 챗봇은 행동 변화 맥락에서 100명의 참가자로부터 총 284개의 고유한 주장을, 156개의 반론을 수확하였다.
• 의미적으로 유사한 주장들은 참가자들에 의해 일관되게 동일하거나 유사한 가치로 할당되었으며, 이는 분류를 통한 신뢰성 있는 가치 예측을 가능하게 하였다.
• 의미적으로 유사한 주장 군집에서 유도된 반론들은 50퍼센트의 적합성 기준을 설정했을 때 약 80퍼센트의 사용자 승인을 받았다.
• 반론 '친구와 함께 스포츠 팀에 가입할 수 있어요' 는 시간 관리나 내재적 이점에 대한 고려가 부족하여 효과적이지 않다는 점이 밝혀졌으며, 수용률은 17.5퍼센트에 그쳤다.
• 284개의 주장 중 131개만 성공적으로 군집화되었으며, 주로 전처리 오류, 복잡한 동의어, 부정문, 고유하거나 반복되지 않는 주장들로 인해 발생했다.
• 결과는 의미적으로 유사한 주장에 대해 반론이 적절하고 잘 구성되어 있다면 상호 교체 가능하다는 가설을 지지한다.