[논문 리뷰] Communication-based Evaluation for Natural Language Generation

Benjamin Newman, Reuben Cohn-Gordon외 1명|arXiv (Cornell University)|2019. 09. 16.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 자연어 생성(NLG)에 대한 의사소통 기반 평가 방법을 제안하며, 합리적 언어 행위 모델을 활용해 생성된 발화가 听자에게 의도한 정보를 얼마나 효과적으로 전달하는지 평가한다. 색상 참조 게임 데이터셋에서 평가한 결과, 전통적인 n-그램 겹침 지표(BLEU, ROUGE, METEOR, CIDER)보다 인간의 품질 평가와 더 잘 일치하는 것으로 나타나, 표면적 토큰 일치보다 더 실제 NLG의 효과성을 반영하는 임무 기반의 의미론적 평가가 더 우수함을 입증한다.

ABSTRACT

Natural language generation (NLG) systems are commonly evaluated using n-gram overlap measures (e.g. BLEU, ROUGE). These measures do not directly capture semantics or speaker intentions, and so they often turn out to be misaligned with our true goals for NLG. In this work, we argue instead for communication-based evaluations: assuming the purpose of an NLG system is to convey information to a reader/listener, we can directly evaluate its effectiveness at this task using the Rational Speech Acts model of pragmatic language use. We illustrate with a color reference dataset that contains descriptions in pre-defined quality categories, showing that our method better aligns with these quality categories than do any of the prominent n-gram overlap methods.

연구 동기 및 목표

• 표준 n-그램 겹침 지표(예: BLEU, ROUGE)와 인간의 NLG 품질 평가 간의 괴리 문제를 해결하기 위해.
• 어휘 유사도가 아닌 의사소통의 효과성이라는 실질적 목표를 기반으로 한 의미론적 언어 사용에 기반한 평가 프레임워크를 개발하기 위해.
• 모델 기반 청취자 인식 접근 방식이 전통적인 자동 평가 지표보다 인간의 품질 평가를 더 잘 예측할 수 있는지 평가하기 위해.
• 특히 색상 참조 게임과 같은 통제된 임무 기반 환경에서, 발화의 품질이 의사소통 성공 여부로 정의되는 상황에서 이 방법을 테스트하기 위해.
• 의사소통 기반 평가가 n-그램 겹침 지표보다 인간이 할당한 품질 카테고리와 더 강한 상관관계를 보임을 입증하기 위해.

제안 방법

• 청취자가 발화로부터 말하는 이의 의도된 의미를 어떻게 유추하는지 모델링하기 위해 합리적 언어 행위(RSA) 모델을 사용하여 의미론적 추론을 시뮬레이션한다.
• 사전 지식과 발화 해석 기반으로, 주어진 발화가 세 가지 색상 중 목표 색상과 관련이 있을 확률을 계산하기 위해 청취자 모델을 훈련시킨다.
• 청취자가 각 발화를 听은 후 목표 색상에 대한 사후 확률을 측정하여 의사소통 성공의 지표로 사용함으로써 NLG 출력을 평가한다.
• 인간이 할당한 세 가지 품질 카테고리(기술판단, 애매한, 오도하는)를 가진 데이터셋에 이 청취자 모델을 적용하여 발화를 평가한다.
• RSA 기반 점수를 인간의 품질 평가와의 상관관계 분석을 통해 표준 n-그램 지표(BLEU, ROUGE, METEOR, CIDER)와 비교한다.
• 인간이 할당한 품질 카테고리를 기준으로 하여 의사소통 기반 평가의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 합리적 언어 행위 모델을 활용한 의사소통 기반 평가가 n-그램 겹침 지표보다 인간의 품질 평가와 더 강한 상관관계를 보이는가?
• RQ2 의미론적 추론을 시뮬레이션하는 모델 기반 청취자 모델이 특정 임무 환경에서 고품질과 저품질 NLG 출력을 효과적으로 구분할 수 있는가?
• RQ3 여러 개의 정당한 발화가 존재하는 상황에서, 전통적 지표인 BLEU와 ROUGE가 인간이 할당한 품질 카테고리와 얼마나 잘 일치하는가?
• RQ4 청취자 믿음 형성 과정을 통합할 경우, 표면적 어휘 일치를 넘어서 NLG 시스템 평가에 얼마나 기여하는가?
• RQ5 임무 기반의 의미론적 평가 프레임워크는 비용이 많이 드는 인간의 레이블링에 대한 의존도를 줄이면서도 인간의 품질 직관과 잘 일치하는가?

주요 결과

• 합리적 언어 행위 모델을 활용한 의사소통 기반 평가가 시험된 모든 n-그램 겹침 지표보다 인간이 할당한 품질 카테고리와 유의미하게 더 높은 상관관계를 보였다.
• n-그램 지표 중 ROUGE가 인간 평가와 가장 강한 상관관계를 보였지만, 여전히 RSA 기반 방법보다 낮은 성능을 보였다.
• BLEU, METEOR, CIDER는 인간의 품질 평가와 약한에서 중간 수준의 상관관계를 보였으며, 특히 기술적인 발화와 애매한 발화를 구분하지 못하는 데 실패했다.
• RSA 기반 방법은 기술적인 발화에 높은 점수를, 오도하는 발화에 낮은 점수를 할당하여 인간의 품질 평가와 매우 유사하게 작동했다.
• 결과적으로 의미론적 추론 모델이 인간 레이블링의 효과적이고 확장 가능한 대안이 될 수 있음을 시사한다.
• 의사소통 성공 여부—즉, 청취자가 의도한 의미를 정확히 유추할 수 있는지—기반으로 NLG를 평가할 경우, 어휘 일치에 의존하는 평가보다 더 신뢰성 있고 의미 있는 평가가 가능하다는 점을 입증한다.