[논문 리뷰] Parsing Argumentation Structures in Persuasive Essays

Christian Stab, Iryna Gurevych|arXiv (Cornell University)|2016. 04. 25.

Software Engineering Research참고 문헌 126인용 수 51

한 줄 요약

이 논문은 토큰 수준의 시퀀스 레이블링과 정수선형계획법(ILP)을 사용하여 전역 최적화를 수행함으로써 주장 요소(주장, 전제)와 그 관계를 동시에 식별하는 새로운 엔드 투 엔드 추론 구조 파서를 제안한다. 이 방법은 기준 방법들보다 뚜렷이 뛰어난 성능을 보이며, 상당한 상호평가 일致도를 보인 402편의 주장을 담은 고품질 코퍼스를 제공하여 계산적 추론 연구의 재현 가능성을 가능하게 한다.

ABSTRACT

In this article, we present a novel approach for parsing argumentation structures. We identify argument components using sequence labeling at the token level and apply a new joint model for detecting argumentation structures. The proposed model globally optimizes argument component types and argumentative relations using integer linear programming. We show that our model considerably improves the performance of base classifiers and significantly outperforms challenging heuristic baselines. Moreover, we introduce a novel corpus of persuasive essays annotated with argumentation structures. We show that our annotation scheme and annotation guidelines successfully guide human annotators to substantial agreement. This corpus and the annotation guidelines are freely available for ensuring reproducibility and to encourage future research in computational argumentation.

연구 동기 및 목표

• 주장적 에세이의 추론 구조를 파싱하기 위한 강력하고 엔드 투 엔드인 방법을 개발하는 것.
• 인간 주석자가 새로운 주석 체계를 사용하여 추론 구조를 신뢰성 있게 식별할 수 있는지 평가하는 것.
• 논의 수준의 추론 구조로 주석 처리된 고품질의 공개 가능한 에세이 코퍼스를 구축하는 것.
• 국소적 히ュ리스틱 기반 방법을 넘어서 주장 요소 및 관계 식별 성능을 향상시키는 것.
• 재현 가능한 데이터와 주석 가이드라인을 통해 향후 계산적 추론 연구를 가능하게 하는 것.

제안 방법

• 주장 요소 식별을 위한 토큰 수준의 시퀀스 레이블링과 구성 요소 유형 및 추론 관계의 전역 최적화를 위한 정수선형계획법(ILP)을 결합한 공동 모델을 제안한다.
• 추론을 연결된 트리 구조로 모델링하여 단일 트리로 강제하는 MST 기반 접근과 달리, 다수의 주장과 연결되지 않은 구성 요소를 허용한다.
• 의견 및 구성 요소 식별을 위해 어휘적, 문법적, 논의적, 감성, 구조적, 임bedding 특징을 포함한 기능 풍부한 모델을 활용한다.
• 모든 구성 요소와 관계에 대한 예측을 동시에 최적화하여 구조적 일관성과 통일성을 확보한다.
• 추론 이론에 기반한 새로운 주석 체계를 설계하여 주장, 전제, 추론 관계(정당화/반박)를 구분한다.
• 주석 체계의 타당성을 검증하기 위해 인간 주석자와 함께 주석 연구를 수행하였으며, 결과 코퍼스에서 상당한 상호평가 일치도를 달성하였다.

실험 결과

연구 질문

• RQ1 제안된 주석 체계를 사용하여 인간 주석자가 주장적 에세이의 추론 구조를 신뢰성 있게 식별할 수 있는가?
• RQ2 모든 구성 요소 유형과 관계를 전역적으로 최적화하는 공동 모델이 국소적 또는 히ュ리스틱 기반 기준 모델보다 우수한가?
• RQ3 제안된 ILP 기반 공동 모델이 주장 요소 및 관계 탐지에서 기본 분류기보다 유의미하게 성능을 향상시키는가?
• RQ4 주석 처리된 주장적 에세이 코퍼스가 향후 연구를 위해 충분한 품질과 신뢰성을 갖추고 있는가?
• RQ5 다양한 특징(어휘적, 문법적, 논의적 등)의 통합이 추론 구조 파싱 성능 향상에 기여하는가?

주요 결과

• 제안된 ILP 기반 공동 모델은 주장 요소 및 관계 식별에서 기본 분류기와 히ュ리스틱 기반 기준 모델 모두를 뚜렷이 뛰어넘는 성능을 보였다.
• 인간 주석자가 새로운 주석 체계를 사용하여 주장적 에세이의 추론 구조를 식별할 때 상당한 일致도를 달성하여 체계의 신뢰성과 사용 가능성을 검증하였다.
• 논의 수준의 추론 구조로 주석 처리된 402편의 주장적 에세이 코퍼스는 공개 가능하며 재현 가능한 연구를 지원한다.
• 어휘적, 문법적, 논의적, 감성, 구조적, 임베딩 특징 모두를 포함한 모델이 가장 높은 성능을 보였으며, 단일 특징 그룹이 반드시 필요하지는 않았다.
• 모든 특징을 포함한 모델은 매크로 F1 스코어 0.702를 기록하여 다수 기준(0.475)과 히ュ리스틱 기준(0.521)보다 뚜렷한 향상을 보였다.
• ILP를 통한 공동 최적화가 다수의 주장과 연결되지 않은 구성 요소를 포함한 복잡한 추론 구조를 효과적으로 포착하였으며, 이는 MST 기반 모델이 표현하지 못하는 바이다.