[논문 리뷰] Crowdsourcing Argumentation Structures in Chinese Hotel Reviews

Mengxue Li, Shiqiang Geng외 3명|arXiv (Cornell University)|2017. 05. 05.

Mobile Crowdsensing and Crowdsourcing참고 문헌 16인용 수 4

한 줄 요약

이 논문은 군중 소싱을 통해 신뢰도 점수를 포함한 새로운 클러스터링 기반 집계 방법을 사용해 구축한 중국어 호텔 리뷰를 위한 최초의 중국어 추론 코퍼스를 제시한다. 확장된 '전제-주장' 추론 모델을 도입하여 주요 영향력 있는 영향력 있는 영향력 있는 주장, 주장, 전제, 잠재적 지지 은밀한 주장(PSIC), 비추론(NA) 카테고리 포함, 높은 품질의 주석을 달 수 있으며, 향후 추론 마이닝 연구를 지원하기 위해 공개된 데이터셋을 제공한다.

ABSTRACT

Argumentation mining aims at automatically extracting the premises-claim discourse structures in natural language texts. There is a great demand for argumentation corpora for customer reviews. However, due to the controversial nature of the argumentation annotation task, there exist very few large-scale argumentation corpora for customer reviews. In this work, we novelly use the crowdsourcing technique to collect argumentation annotations in Chinese hotel reviews. As the first Chinese argumentation dataset, our corpus includes 4814 argument component annotations and 411 argument relation annotations, and its annotations qualities are comparable to some widely used argumentation corpora in other languages.

연구 동기 및 목표

• 저자원 언어인 중국어의 고객 리뷰에 대해 대규모로 고품질의 추론 코퍼스가 부족한 문제를 해결하기 위해.
• 중국어 호텔 리뷰에서 추론 구조를 주석 달기 위해 군중 소싱의 타당성과 효율성을 조사하기 위해.
• 기존의 전제-주장 구조를 확장하여 비공식적이고 사용자 생성 리뷰에서의 추론을 더 잘 포착할 수 있는 새로운 추론 모델을 개발하기 위해.
• 충돌을 해결하고 레이블에 신뢰도 점수를 할당하는 클러스터링 기반 주석 집계 방법을 설계하고 평가하기 위해.
• 향후 추론 마이닝 및 NLP 연구를 위한 공개 가능하고 고품질의 추론 코퍼스를 제공하기 위해.

제안 방법

• 411개의 중국어 호텔 리뷰에서 유래한 4,814개 문장에 대해 군중 소싱을 활용해 추론 구성 요소 및 관계 주석을 수집하였다.
• 주요 주장, 주장, 전제, PSIC(잠재적 지지 은밀한 주장), 비추론(NA) 카테고리 포함 확장된 추론 모델을 제안하였다.
• 주석자 오류와 일관성 없는 주석을 줄이기 위해 주석 가이드라인과 품질 제어 메커니즘을 설계하였다.
• 각 항목에 대한 다수의 주석을 클러스터링 알고리즘을 적용해 집계하고 충돌을 해결하며 레이블의 신뢰도를 추정하였다.
• 주석 품질 평가를 위해 가중 텀바(κ) 및 플라이스의 캬피타(π)와 같은 상호 주석자 일치도(IRA) 지표를 사용하였다.
• 신뢰도를 확보하기 위해 고일치도(αU ≥ 0.7)를 기준으로 '다소 논란이 적은' 문장들을 선별하였고, 오류 분석을 위해 혼동 확률 행렬(CPM)을 사용하였다.

실험 결과

연구 질문

• RQ1 이러한 작업이 논란의 여지가 있는 성격을 지닌 만큼, 중국어 소비자 리뷰의 추론 구조 주석에 군중 소싱을 효과적으로 적용할 수 있는가?
• RQ2 제안된 추론 모델이 비공식적이고 사용자 생성 리뷰에서 추론 구조를 얼마나 잘 포착하는가?
• RQ3 클러스터링 기반 집계 방법이 주석 충돌을 얼마나 잘 해결하고 주석 신뢰도를 향상시키는가?
• RQ4 기존의 다른 언어에서의 최첨단 코퍼스와 비교해, 결과적으로 생성된 코퍼스의 주석 품질은 어떠한가?
• RQ5 주석 클러스터링에서 유도된 신뢰도 점수는 사용자가 개별 주석의 논란 수준을 평가하는 데 어떻게 기여하는가?

주요 결과

• 코퍼스는 4,814개의 추론 구성 요소 주석과 411개의 추론 관계 주석을 포함하고 있으며, 공개된 중국어 추론 코퍼스로서 최초의 사례이다.
• 고품질의 상호 주석자 일치도를 달성하여, 레이블 유형별 플라이스의 캬피타(π) 점수는 0.728에서 0.918 사이로, 널리 사용되는 영어 코퍼스와 유사한 품질을 확보하였다.
• 클러스터링 기반 집계 방법은 주석 충돌을 성공적으로 해결하고, 높은 일치도(π = 0.918)를 보인 '주장'과 중간 수준의 일치도(π = 0.728)를 보인 '주요 주장'에 대해 신뢰도 점수를 생성하였다.
• 다소 논란이 적은 문장 쌍 중 약 5%만이 관계로 주석이 달려 있어 관계의 농도가 낮으며, 이에 따라 이 하위집단에서는 관계에 대한 집계를 수행하지 않았다.
• 간단한 리뷰 코퍼스에서 PSIC와 NA 레이블 간의 혼동이 뚜렷했으며, 주로 후보 목록이 없는 경우 은밀한 주장을 식별하는 데 모호함이 있었기 때문이다.
• 최종적으로 코퍼스는 124.16.136.215에 공개되어 저자원 언어의 추론 마이닝 연구를 위한 향후 연구를 가능하게 하였다.