[논문 리뷰] CohEval: Benchmarking Coherence Models

Tasnim Mohiuddin, Prathyusha Jwalapuram외 2명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 32인용 수 7

한 줄 요약

이 논문은 합성 문장 순서 정렬 작업과 세 가지 응용 분야—기계 번역, 텍스트 요약, 다음 문장 예측—에서 일관성 모델을 평가하기 위한 CohEval이라는 벤치마크를 소개한다. 합성 작업 성능과 실제 세계의 일관성 효과성 간에 약한 상관관계가 드러나며, 이는 평가 프로토콜의 개선이 필요함을 시사하며, 일관성 모델링 연구의 발전을 위해 공개 리더보드를 구축하게 되었다.

ABSTRACT

Although coherence modeling has come a long way in developing novel models, their evaluation on downstream applications has largely been neglected. With the advancements made by neural approaches in applications such as machine translation, text summarization and dialogue systems, the need for standard coherence evaluation is now more crucial than ever. In this paper, we propose to benchmark coherence models on a number of synthetic and downstream tasks. In particular, we evaluate well-known traditional and neural coherence models on sentence ordering tasks, and also on three downstream applications including coherence evaluation for machine translation, summarization and next utterance prediction. We also show model produced rankings for pre-trained language model outputs as another use-case. Our results demonstrate a weak correlation between the model performances in the synthetic tasks and the downstream applications, motivating alternate evaluation methods for coherence models. This work has led us to create a leaderboard to foster further research in coherence modeling.

연구 동기 및 목표

• NLP 응용 분야에서 일관성 모델에 대한 표준화된 평가 부족 문제를 해결하기 위해.
• 합성 일관성 작업에서의 성능이 실제 세계의 하류 응용 분야로 일반화되는지 조사하기 위해.
• 다양한 NLP 작업 전반에서 일관성 모델을 평가하는 종합적인 벤치마크를 개발하기 위해.
• 현재 평가 관행의 한계를 특정하고 더 신뢰할 수 있는 모델 평가를 촉진하기 위해.

제안 방법

• 합성 문장 순서 정렬 작업과 실제 세계 하류 응용 분야를 결합한 벤치마크 프레임워크를 제안한다.
• 전통적 및 신경망 기반 일관성 모델을 합성 작업과 응용 분야 전용 작업 모두에서 평가한다.
• 사전 훈련된 언어 모델 출력물을 활용해 모델이 생성한 순위를 추가적인 사용 사례로 평가한다.
• 여러 평가 설정에서 모델 성능을 수집하고 분석하여 합성 작업과 하류 작업 결과를 비교한다.
• 일관성 모델링 분야의 진전을 추적하고 장려하기 위해 공개 리더보드를 구축한다.

실험 결과

연구 질문

• RQ1 합성 문장 순서 정렬 작업에서 훈련된 일관성 모델은 실제 세계 NLP 응용 분야로 얼마나 잘 일반화되는가?
• RQ2 합성 일관성 작업 성능과 하류 일관성 평가 작업 성능 간의 상관관계는 어떠한가?
• RQ3 사전 훈련된 언어 모델 출력물의 모델 생성 순위는 일관성에 대한 유효한 평가 신호로 기능할 수 있는가?
• RQ4 현재 평가 관행는 실세계 설정에서 생성된 텍스트의 진정한 일관성 수준을 충분히 반영하고 있는가?

주요 결과

• 합성 문장 순서 정렬 작업에서의 모델 성능과 하류 일관성 응용 분야에서의 성능 간에 약한 상관관계가 존재한다.
• 합성 작업에서 양호한 성능을 보이는 모델들이 기계 번역 및 요약과 같은 실제 세계 작업에서 떨어지는 성능을 보일 수 있다.
• 이 격차는 합성 벤치마크만으로는 일관성 모델 평가에 부적합함을 시사한다.
• 제안된 벤치마크는 현재 평가 방법론의 심각한 격차를 드러내며, 대체 평가 전략의 필요성을 제기한다.
• 이 벤치마크를 기반으로 한 공개 리더보드 구축은 일관성 모델링 분야의 혁신과 표준화를 촉진할 것으로 기대된다.