[논문 리뷰] Evaluating Text Coherence at Sentence and Paragraph Levels

Sennan Liu, Shuang Zeng외 1명|arXiv (Cornell University)|2020. 06. 05.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 텍스트 일관성 평가를 위한 문장 수준의 순서 정하기와 보완적인 작업으로 단락 수준의 텍스트 순서 정하기를 제안한다. 다양한 도메인의 여덟 개 데이터셋(문장 수준 네 개, 단락 수준 네 개)에서 기존 모델을 평가하고, 합성 데이터를 통해 학습 가능성과 내성적 안정성을 평가하며, 인간 평가를 통해 WLCS-l가 인간 평가와 상관관계가 더 높은 것으로 밝혀졌으며, 그래프 기반 모델은 뛰어난 성능과 내성적 안정성을 보였다.

ABSTRACT

In this paper, to evaluate text coherence, we propose the paragraph ordering task as well as conducting sentence ordering. We collected four distinct corpora from different domains on which we investigate the adaptation of existing sentence ordering methods to a paragraph ordering task. We also compare the learnability and robustness of existing models by artificially creating mini datasets and noisy datasets respectively and verifying the efficiency of established models under these circumstances. Furthermore, we carry out human evaluation on the rearranged passages from two competitive models and confirm that WLCS-l is a better metric performing significantly higher correlations with human rating than tau, the most prevalent metric used before. Results from these evaluations show that except for certain extreme conditions, the recurrent graph neural network-based model is an optimal choice for coherence modeling.

연구 동기 및 목표

• 문장 수준의 순서 정하기와 보완적인 과제로 단락 수준의 텍스트 순서 정하기를 제안하고 정립함으로써 보다 종합적인 일관성 평가를 가능하게 하기.
• 다양한 도메인과 데이터 규모에서 기존 텍스트 순서 정하기 모델의 성능, 학습 가능성, 내성적 안정성 평가하기.
• 재정렬된 텍스트에 대한 인간 평가와 자동 평가 지표(τ, Accuracy, WLCS-l)의 상관관계 평가하기.
• 다양한 데이터 조건에서 일관성 모델링에 가장 효과적인 모델 아키텍처 규명하기.

제안 방법

• 문서 수준의 추상화를 넘어서기 위해 네 가지 도메인 전용 코퍼스(뉴스, 공식 성명, 이코노미스트, 가사)를 활용해 단락 순서 정하기 과제 제안.
• 세부 통계(길이, 어휘, 분할 비율 포함)를 포함한 여덟 개의 데이터셋 수집 및 전처리—네 개의 문장 수준 데이터셋(NIPS, AAN, arXiv, SIND)과 네 개의 단락 수준 데이터셋(뉴스, 공식 성명, 이코노미스트, 가사).
• 표준 평가 지표(τ, Accuracy, WLCS-l)를 사용해 모델 성능 평가하고, 세 명의 평가자로 구성된 인간 평가를 실시해 모델이 생성한 순서의 일관성 평가.
• 모델의 학습 가능성과 내성적 안정성 테스트를 위해 미니 데이터셋(샘플링 감소)과 노이즈가 포함된 데이터셋(노이즈 주입)을 인위적으로 생성.
• 인간 애너테이션 신뢰도 검증을 위해 Krippendorff’s α와 평가자 간 상관계수 적용.
• 다중 회귀 분석을 통해 지표 성능 비교—WLCS-l가 인간 평가 예측에서 가장 높은 결정계수(R-squared = 0.665) 기록.

실험 결과

연구 질문

• RQ1 기존의 텍스트 순서 정하기 모델은 다양한 도메인에서 문장 수준과 단락 수준에서 어떻게 성능을 발휘하는가?
• RQ2 자동 평가 지표(τ, Accuracy, WLCS-l) 중 어느 것이 인간 평가의 텍스트 일관성 판단을 더 잘 예측하는가?
• RQ3 저자원(미니 데이터셋) 및 노이즈가 포함된 데이터 조건에서 모델은 어떻게 성능을 발휘하는가? 이는 학습 가능성과 내성적 안정성의 지표가 된다.
• RQ4 그래프 기반 순환 신경망 모델(SE-Graph)은 다양한 데이터 규모와 노이즈 수준에서도 뛰어난 성능을 유지하는가?
• RQ5 WLCS-l는 τ보다 문장 순서 정하기 일관성 평가에 더 신뢰할 수 있는 지표인가?

주요 결과

• WLCS-l는 인간 평가와 가장 높은 상관관계(결정계수 = 0.665)를 보이며, τ(결정계수 = 0.571)와 Accuracy(결정계수 = 0.618)를 뛰어넘었다.
• 순환 그래프 신경망 기반 모델(SE-Graph)은 뛰어난 내성적 안정성과 학습 가능성을 보였으며, 데이터 부족 및 노이즈 주입 조건에서도 높은 성능 유지.
• 인간 평가 결과, 평가자들은 본질적인 문단의 복잡성에 영향을 받아 일관성 판단에 영향을 받으며, 이는 모델의 우월성에 대한 오해를 낳을 수 있음.
• 평가자 간 일치도는 중간 수준(Krippendorff’s α = 0.53)이었으며, 이는 일관성 평가가 상세한 가이드라인이 없이 복잡하고 주관적인 과제임을 시사.
• 최신 기술(SOTA) 모델인 SE-Graph는 인간 평가에서 ATTOrderNet보다 略로 낮은 평가를 받았지만, 이는 실제 일관성 품질보다는 복잡성 영향 때문일 수 있음.
• 이 연구는 WLCS-l가 τ보다 문장 순서 정하기 평가에 더 신뢰할 수 있는 자동 평가 지표임을 확인했으며, 이는 이원 비교 지표에서 순서 수준 지표로의 전환을 시사.