[논문 리뷰] Towards an Argument Mining Pipeline Transforming Texts to Argument Graphs

Mirko Lenz, Premtim Sahitaj외 5명|arXiv (Cornell University)|2020. 06. 08.

Software Engineering Research참고 문헌 25인용 수 12

한 줄 요약

이 논문은 독일어 및 영어 텍스트를 다단계 과정을 통해 주장 요소 탐지, 관계 예측, 그래프 구축을 조합하여 그래프 기반의 주장 표현으로 변환하는 통합된 주장 마이닝 파이프라인을 제시한다. 이 방법은 사전 설정된 주장적 논의 단위를 사용할 경우 인간 레이블 기반 기준과 높은 일致도를 보이며, 비구조화된 텍스트에서 새로운 주장적 연결을 드러내는 데도 유용함을 보여준다.

ABSTRACT

This paper targets the automated extraction of components of argumentative information and their relations from natural language text. Moreover, we address a current lack of systems to provide complete argumentative structure from arbitrary natural language text for general usage. We present an argument mining pipeline as a universally applicable approach for transforming German and English language texts to graph-based argument representations. We also introduce new methods for evaluating the results based on existing benchmark argument structures. Our results show that the generated argument graphs can be beneficial to detect new connections between different statements of an argumentative text. Our pipeline implementation is publicly available on GitHub.

연구 동기 및 목표

• 독일어 및 영어의 임의의 자연어 텍스트로부터 완전한 주장적 구조를 생성하는 종단간 주장 마이닝 시스템의 부족을 해결하기 위해.
• 비구조화된 텍스트를 그래프 기반의 주장 표현으로 변환하기 위한 강력하고 보편적으로 적용 가능한 파이프라인을 개발하기 위해.
• 기준 주장 구조를 바탕으로 한 새로운 평가 방법을 도입하여 생성된 주장 그래프의 품질을 평가하기 위해.
• 그래프 기반 분석을 통해 원본 텍스트에서 명백하지 않은 문장 간 새로운 연결을 탐지할 수 있도록 하기 위해.
• 결정자, 기자, 연구자들이 주장 정보를 계산적으로 접근 가능하고 시각적으로 분석 가능하도록 지원하기 위해.

제안 방법

• 파이프라인은 주장적 논의 단위(ADU) 분할, ADU를 주장, 근거, 주요 주장으로 분류, ADU 간 관계 예측의 순차적 단계를 거친다.
• ADU는 문법적, 어휘적, 맥락적 신호를 포함한 언어적 특징의 조합을 사용하여 식별되며, 분류에는 다중 클래스 분류기가 사용된다.
• ADU 간 관계 예측은 쌍별 비교, 중심점 기반, 확률 기반, 첫 번째 주장 선택 전략을 사용하며, 각 전략은 설정 가능한 임계값을 가진다.
• 결과로 생성된 주장 그래프는 주요 주장과 방향성 있는 지지/공격 관계를 명시적으로 지원하는 Argument Interchange Format(AIF)의 확장된 버전을 사용한다.
• 그래프 구축은 인간 레이블 기반 기준과 비교하여 노드 일致도(I-node, S-node), 주장 일치도(M), 간선 일치도(E) 지표를 사용해 평가된다.
• 파이프라인은 종단간으로 구현되었으며 GitHub에 공개되어 있어 자동 및 사전 설정된 ADU 입력을 통한 비교 평가를 지원한다.

실험 결과

연구 질문

• RQ1 종단간 주장 마이닝 파이프라인이 비구조화된 독일어 및 영어 텍스트에서 인간 레이블 기반 주장 그래프를 얼마나 정확하게 재구성할 수 있는가?
• RQ2 ADU 분할 및 관계 예측에 사용되는 다양한 방법이 생성된 주장 그래프의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 생성된 주장 그래프가 원본 텍스트에서 명백하지 않은, 비트리비알한 연결을 드러낼 수 있는가?
• RQ4 동질적인 에세이와 이질적인 주장 코퍼스와 같은 다양한 텍스트 유형에 대해 파이프라인이 얼마나 견고한가?
• RQ5 사전 설정된 ADU의 사용이 최종 주장 그래프 구조의 신뢰성과 일치도를 얼마나 향상시킬 수 있는가?

주요 결과

• PE 18 코퍼스에서 파이프라인은 ADU 분할에 대해 I-node 일치도 0.799를 기록하여 높은 성능을 보였다.
• PE 18 코퍼스에서 'First' 방법을 사용할 경우 주요 주장 일치도는 0.250에 도달했지만, 전체적으로 낮은 수준을 유지하여 H2 가설 기각.
• 전반적으로 간선 일치도는 낮았으며(예: PE 18에서 𝔈ₑ₂ₑ = 0.130), 이는 관계 예측의 과제를 시사하며 H4 기각으로 이어짐.
• 사전 설정된 ADU를 사용하면 간선 일치도가 뚜렷이 향상됨(𝔼ₚᵣₑₛₑₜ = 0.274)과 동시에 I-node 일치도 유지되어 H5 가설 수용.
• 이 방법은 문장 간 새로운 연결을 탐지하는 데도 실용성을 보이며, 인간 레이블 복제를 넘어서는 가치를 시사한다.
• 파이프라인은 PE와 같은 동질적인 데이터셋에서 높은 일치도 점수를 기록하는 등 다양한 코퍼스에 대해 견고함을 보였으며, ReCAP과 같은 이질적인 코퍼스보다는 성능이 뛰어났다.