[논문 리뷰] Here's My Point: Argumentation Mining with Pointer Networks

Peter Potash, Alexey Romanov외 1명|arXiv (Cornell University)|2017. 04. 24.

Topic Modeling참고 문헌 16인용 수 3

한 줄 요약

이 논문은 수정된 포인터 네트워크를 사용하여 텍스트에서 논거 구조를 추출하는 새로운 신경망 접근법을 제안한다. 이는 논거 구성 요소 간의 연결과 유형을 동시에 예측하며, 순차적 모델링을 활용하고 트리 구조 제약 조건을 강제하며, RNN 인코더 이전에 완전 연결 계층을 통합한 공동 학습 프레임워크를 통해 두 개의 코퍼스에서 최신 기준 성능을 달성한다.

ABSTRACT

One of the major goals in automated argumentation mining is to uncover the argument structure present in argumentative text. In order to determine this structure, one must understand how different individual components of the overall argument are linked. General consensus in this field dictates that the argument components form a hierarchy of persuasion, which manifests itself in a tree structure. This work provides the first neural network-based approach to argumentation mining, focusing on extracting links between argument components, with a secondary focus on classifying types of argument components. In order to solve this problem, we propose to use a modification of a Pointer Network architecture. A Pointer Network is appealing for this task for the following reasons: 1) It takes into account the sequential nature of argument components; 2) By construction, it enforces certain properties of the tree structure present in argument relations; 3) The hidden representations can be applied to auxiliary tasks. In order to extend the contribution of the original Pointer Network model, we construct a joint model that simultaneously attempts to learn the type of argument component, as well as continuing to predict links between argument components. The proposed model achieves state-of-the-art results on two separate evaluation corpora. Furthermore, our results show that optimizing for both tasks, as well as adding a fully-connected layer prior to recurrent neural network input, is crucial for high performance.

연구 동기 및 목표

• 논리적 텍스트에서 논거 구조를 자동으로 추출하기 위한 신경망 기반 방법을 개발한다.
• 포인터 네트워크를 활용한 시퀀스-투-시퀀스 학습을 통해 논거 관계의 계층적 트리 구조를 모델링한다.
• 논거 구성 요소의 유형과 그들의 구조적 연결을 동시에 예측하여 전체 성능을 향상시킨다.
• RNN 인코더 이전에 완전 연결 계층을 적용하여 아키텍처를 수정함으로써 모델 성능을 향상시킨다.
• 엔드 투 엔드 딥 러닝을 사용하여 논거 추출 분야의 새로운 최신 기준 베이스라인을 수립한다.

제안 방법

• 논거 구성 요소 간의 연결을 예측하기 위해 수정된 포인터 네트워크 아키텍처를 사용하며, 입력 구성 요소의 순서를 유지한다.
• 각 구성 요소가 최대 하나의 부모만 링크하도록 하여 트리 구조 제약 조건을 강제함으로써 계층적 설득을 자연스럽게 모델링한다.
• 공동 학습 프레임워크를 도입하여 공유된 은닉 표현을 사용해 논거 구성 요소 유형과 구조적 연결을 동시에 예측한다.
• RNN 인코더 이전에 완전 연결 계층을 적용하여 표현 학습과 모델 성능을 향상시킨다.
• 주의 메커니즘과 순환 인코딩을 활용하여 논거 텍스트의 장거리 의존성을 포착한다.
• 두 개의 논거 추출 코퍼스에서 교차 엔트로피 손실을 사용해 두 예측 작업 모두에 대해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 신경망 모델이 계층적 트리 구조를 유지하면서 논거 구성 요소 간 연결을 효과적으로 예측할 수 있는가?
• RQ2 논거 구성 요소 유형과 연결을 공동으로 예측함으로써 전체 논거 추출 성능이 향상되는가?
• RQ3 RNN 인코더 이전에 완전 연결 계층을 포함시키는 것이 모델 성능에 어떤 영향을 미치는가?
• RQ4 수정된 포인터 네트워크가 기존 방법보다 논거 구조 추출에서 얼마나 뛰어난가?
• RQ5 논거 추출 분야에서 최신 기준 성능을 달성하기 위해 가장 중요한 아키텍처 구성 요소는 무엇인가?

주요 결과

• 제안된 모델은 두 개의 표준 논거 추출 코퍼스에서 최신 기준 성능을 달성하며, 이전 방법들을 능가한다.
• 논거 구성 요소 유형 분류와 연결 예측을 동시에 최적화함으로써 모델 정확도가 크게 향상된다.
• RNN 인코더 이전에 완전 연결 계층을 추가한 것이 높은 성능을 달성하는 데 핵심적인 역할을 했다.
• 포인터 네트워크 아키텍처는 부모-자식 연결 제약 조건을 강제함으로써 논거의 계층적 구조를 효과적으로 모델링한다.
• 모델의 은닉 표현은 이식 가능하며, 구성 요소 유형 분류와 같은 보조 작업에 유용하다.
• 결과는 구조적 인덕티브 바이어스를 가진 순차적 모델링이 더 나은 논거 구조 예측을 이끈다는 것을 보여준다.