[논문 리뷰] Cross-topic Argument Mining from Heterogeneous Sources Using Attention-based Neural Networks

Christian Stab, Tristan Miller외 1명|arXiv (Cornell University)|2018. 02. 15.

Topic Modeling참고 문헌 4인용 수 27

한 줄 요약

이 논문은 8개의 논란이 되는 주제에 걸쳐 25,000개의 이질적인 웹 텍스트 인스턴스로 구성된 대규모 커뮤니티 기반 코퍼스를 기반으로 한 주목사용 신경망을 사용하여 교차 주제적 논거 추출 프레임워크를 제안한다. 이 모델은 교차 주제 일반화에서 기존 BiLSTM보다 정확도 6% 향상되고 F-스코어 11% 향상되어 주제 인식 주목 기반 메커니즘과 유사도 특징을 통해 예측 불가능한 주제에 대해 강력한 내성적 저항성을 보여준다.

ABSTRACT

Argument mining is a core technology for automating argument search in large document collections. Despite its usefulness for this task, most current approaches to argument mining are designed for use only with specific text types and fall short when applied to heterogeneous texts. In this paper, we propose a new sentential annotation scheme that is reliably applicable by crowd workers to arbitrary Web texts. We source annotations for over 25,000 instances covering eight controversial topics. The results of cross-topic experiments show that our attention-based neural network generalizes best to unseen topics and outperforms vanilla BiLSTM models by 6% in accuracy and 11% in F-score.

연구 동기 및 목표

• 비전문가 커뮤니티 작업자들이 다양한 이질적인 웹 텍스트에 적용 가능한 일반적인 논거 애너테이션 체계를 개발하기 위해.
• 8개의 논란이 되는 주제에 걸쳐 25,000개 이상의 애너테이션 인스턴스를 포함하는 대규모 다국어 교차 주제 논거 추출 코퍼스를 구축하기 위해.
• 논거 검색 작업에서 미리 보지 않은 주제에 대한 신경망 모델의 일반화 성능을 평가하기 위해.
• 일반 모델을 특정 주제 성능에 맞추기 위해 필요한 주제별 데이터의 최소량을 정량화하기 위해.
• 주목 기반 메커니즘이 다양한 텍스트 유형 간에 주제 관련 논거를 효과적으로 식별할 수 있는지 조사하기 위해.

제안 방법

• 주제 관련성에 중점을 두고 지지, 반대, 논거가 아닌 문장을 구분하는 문장 수준의 애너테이션 체계를 설계하기 위해.
• 핵심 주제로 원자력 에너지, 최저임금, 학교 유니폼 등을 포함하여 8개의 논란이 되는 주제에 걸쳐 25,000개의 애너테이션 인스턴스를 커뮤니티 기반으로 수집하기 위해.
• 문장-주제 일치를 위한 주목 기반 메커니즘과 문장 수준의 맥락 모델링을 위한 이중 주목 기반 메커니즘을 갖춘 주목 기반 신경망을 구현하기 위해.
• 문장과 주제 임베딩 간의 코사인 유사도 특징을 통합하여 주제 관련성 탐지 성능을 향상시키기 위해.
• 교차 주제 설정을 사용하여 모델을 훈련하고, 주제 내 및 제로샷 일반화 시나리오 모두에서 평가하기 위해.
• 주목 기반 가중치와 주제 이동에 따른 모델의 내성적 저항성 평가를 위해 추론 실험과 오류 분석을 수행하기 위해.

실험 결과

연구 질문

• RQ1 비전문가 커뮤니티 작업자들이 이질적인 웹 텍스트에 대해 일관되고 일반적인 논거 애너테이션 체계를 신뢰성 있게 적용할 수 있는가?
• RQ2 주목 기반 신경망 모델이 기존 BiLSTM 모델 대비 논거 추출 작업에서 예측 불가능한 주제로 일반화할 때 얼마나 잘 성능을 내는가?
• RQ3 일반 모델을 특정 주제 성능에 맞추기 위해 필요한 주제별 데이터의 최소량은 얼마인가?
• RQ4 다양한 주제 간에 주제 관련 논거를 식별할 때 주목 기반 메커니즘이 어떤 언어적 특징을 우선순위로 삼는가?
• RQ5 교차 주제 설정에서 주목 가중치는 논거적 내용과 주제 독립적 단어를 어떻게 반영하는가?

주요 결과

• 커뮤니티 작업자들이 제안된 체계에서 높은 수준의 애너테이션 품질을 확보하여, 25,000개 이상의 인스턴스를 포함하는 대규모이고 다양한 논거 추출 코퍼스를 구축하는 데 성공했다.
• 주목 기반 신경망 모델은 교차 주제 일반화 작업에서 기존 BiLSTM 모델 대비 정확도 6%p 향상되고 F-스코어 11%p 향상되어 강력한 내성적 저항성을 입증했다.
• 내부 주목 + 코사인 유사도 모델(inner-att+cos)은 목표 주제 데이터의 30%만으로도 0.802의 리콜을 달성했으며, BiLSTM 및 BiLSTM+cos 모델은 전체 데이터를 사용해도 주제 내 리콜에 도달하지 못했다.
• 주목 기반 메커니즘은 '침해하다', '자유', '붕괴시키다'와 같은 논거적으로 중요한 단어에 효과적으로 초점을 맞추었고, 주제와 관련 없는 정지어는 주제 외 맥락에서 집중도를 낮췄다.
• 모델이 상위로 선정한 주목 가중치를 가진 단어들은 주로 평가적 판단을 표현하는 형용사와副사(예: '공정한', '틀린', '불가능한')와 해로움이나 반대를 나타내는 동사(예: '침해하다', '반대하다')였다.
• 오류 분석 결과, 잘못된 양성 결과는 일반적으로 근거 없는 배경 설명문이나 의견이었고, 잘못된 음성 결과는 주제의 간접적인 측면(예: 클로닝을 위한 장기 기증)과 연결된 관련 논거를 포함한 경우가 빈번했다.