[논문 리뷰] AMPERSAND: Argument Mining for PERSuAsive oNline Discussions

Tuhin Chakrabarty, Christopher Hidey외 3명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

AMPERSAND는 온라인 설득적 토론에서 미세 수준(논증 구성 요소)과 거시 수준(대화 관계)의 구조를 BERT의 미세 조정 및 비판적 구조 이론(Rhetorical Structure Theory, RST)에 기반한 대화 관계를 통합하는 새로운 논증 마이닝 프레임워크를 제안한다. 이는 문맥적이고 대화 인식 기반의 특징을 활용함으로써, 특히 윈도우 기반의 문맥 클리핑과 RST 기반의 감독을 통해 상태 기반 모델보다 상당한 성능 향상을 이룬다. 이는 CMV 서브레딧 스레드에서 내부 턴 및 외부 턴 관계에 대해 높은 F-스코어를 기록한다.

ABSTRACT

Argumentation is a type of discourse where speakers try to persuade their audience about the reasonableness of a claim by presenting supportive arguments. Most work in argument mining has focused on modeling arguments in monologues. We propose a computational model for argument mining in online persuasive discussion forums that brings together the micro-level (argument as product) and macro-level (argument as process) models of argumentation. Fundamentally, this approach relies on identifying relations between components of arguments in a discussion thread. Our approach for relation prediction uses contextual information in terms of fine-tuning a pre-trained language model and leveraging discourse relations based on Rhetorical Structure Theory. We additionally propose a candidate selection method to automatically predict what parts of one's argument will be targeted by other participants in the discussion. Our models obtain significant improvements compared to recent state-of-the-art approaches using pointer networks and a pre-trained language model.

연구 동기 및 목표

• 온라인 대화에서 논증 마이닝의 격차를 해소하기 위해 미세 수준의 논증 구성 요소와 거시 수준의 대화 관계를 통합한다.
• 단일 독백 중심의 모델을 넘어서 설득적 토론 포럼에서의 관계 예측을 향상시킨다.
• 원거리 감독과 전이 학습을 활용하여 자원이 제한된 논증 마이닝 작업의 성능을 향상시킨다.
• 대화 구조(RST 기반)와 문맥 윈도우 클리핑이 관계 예측 정확도에 미치는 영향을 조사한다.
• 관계 예측의 검색 공간을 줄이고 정밀도를 향상시키면서 재현율을 손상시키지 않는다.

제안 방법

• 유사하지만 동일하지 않은 도메인의 원거리 레이블링 데이터에서 BERT 모델을 미세 조정하여 문맥 이해를 향상시키기 위해 수동으로 주석 처리된 CMV 서브레딧 데이터와 두 가지 새로운 원거리 레이블링 데이터셋(IMHO+context 및 QR)을 결합한다.
• 비판적 구조 이론(Rhetorical Structure Theory, RST)을 사용하여 논증적 관계를 나타내는 대화 관계(예: 평가, 대비)를 추출함으로써 관계 예측을 향상시킨다.
• 관계 예측의 검색 공간을 제한하기 위해 윈도우 기반 문맥 클리핑을 적용하여 관련된 인접 구성 요소에 집중함으로써 정밀도를 향상시킨다.
• BERT와 RST 특징을 사용한 파ip라인 접근 방식을 통해 논증 구성 요소(주장, 전제)와 관계(지지/공격)를 동시에 예측하는 공동 모델을 훈련시킨다.
• RST 파서에서 유도된 대화 신호를 추가 특징으로 활용하여 BERT 임bedding을 보완함으로써, 새로운 데이터에 대한 일반화 능력을 향상시킨다.
• TF-IDF 유사도를 사용하여 외부 데이터에서 실패 케이스를 검색하고 분석함으로써, 모델이 구분 가능한 대화 패턴을 학습하는 능력을 검증한다.

실험 결과

연구 질문

• RQ1 유사하지만 동일하지 않은 도메인의 원거리 레이블링 데이터에서 BERT를 미세 조정하면 자원이 제한된 환경에서 논증 관계 예측 성능이 향상되는가?
• RQ2 비판적 구조 이론(Rhetorical Structure Theory, RST)의 대화 관계는 온라인 토론에서 지지 관계와 공격 관계를 어떻게 구분하는 데 기여하는가?
• RQ3 문맥 윈도우 클리핑이 재현율을 크게 감소시키지 않으면서 정밀도 향상에 얼마나 기여하는가?
• RQ4 RST 파서에서 유도된 대화 인식 특징은 BERT 임베딩을 보완하여 순수하게 문맥 표현에 의존하는 모델을 능가하는가?
• RQ5 제안된 방법은 실제 온라인 토론 스레드에서 내부 턴 및 외부 턴 논증 관계를 얼마나 효과적으로 포착하는가?

주요 결과

• 제안된 모델은 +1 윈도우를 사용할 때 내부 턴 관계 예측에서 39.3의 F-스코어를 기록하여 이전의 최상위 성능 모델을 뛰어넘는다.
• +2 윈도우를 사용하면 정밀도가 32.5%로 향상되고 F-스코어가 39.3으로 유지되며, 이는 문맥 클리핑이 고재현율 상황에서 정밀도를 향상시킨다는 것을 보여준다.
• RST 대화 관계를 통합함으로써 관계 예측에 측정 가능한 향상이 이루어지며, 특히 대비(Antithesis)와 같은 공격 관계에서 두드러진다.
• IMHO+context 데이터로 훈련된 모델은 새로운 예측 예제에서 논증 관계를 올바르게 식별하여 도메인 이동에 대한 강건성을 보여준다.
• BERT의 미세 조정과 RST 특징의 조합은 +3 윈도우에서 내부 턴 관계에 대해 35.6의 F-스코어를 기록하며, 대화 감독 없이 훈련된 모델보다 뛰어난 성능을 보인다.
• 문맥 윈도우를 좁힘으로써 잘못된 양성 결과(false positives)를 줄였으며, +1 윈도우에서 가장 높은 F-스코어(44.1)를 기록하여 재현율과 정밀도 사이의 최적 균형을 이룬다.