[논문 리뷰] Judge the Judges: A Large-Scale Evaluation Study of Neural Language Models for Online Review Generation

Cristina Gârbacea, Samuel Carton외 2명|arXiv (Cornell University)|2019. 01. 02.

Topic Modeling참고 문헌 95인용 수 5

한 줄 요약

이 논문은 온라인 제품 리뷰 생성에서 신경망 언어 모델의 평가를 위해 인간 평가자, 판별적 평가자, 어휘 일치 기반 평가자를 대규모로 비교 평가한다. 인간 평가와 악성 판별기 간의 상관관계는 낮지만, 어휘 다양성과 어휘 일치 지표와는 더 밀접한 관련이 있음을 발견하여, 인간이 인지하는 품질의 예측 요소로는 악성 정확도보다 어휘 다양성과 표면 수준의 유사성이 더 적합하다는 것을 시사한다.

ABSTRACT

We conduct a large-scale, systematic study to evaluate the existing evaluation methods for natural language generation in the context of generating online product reviews. We compare human-based evaluators with a variety of automated evaluation procedures, including discriminative evaluators that measure how well machine-generated text can be distinguished from human-written text, as well as word overlap metrics that assess how similar the generated text compares to human-written references. We determine to what extent these different evaluators agree on the ranking of a dozen of state-of-the-art generators for online product reviews. We find that human evaluators do not correlate well with discriminative evaluators, leaving a bigger question of whether adversarial accuracy is the correct objective for natural language generation. In general, distinguishing machine-generated text is challenging even for human evaluators, and human decisions correlate better with lexical overlaps. We find lexical diversity an intriguing metric that is indicative of the assessments of different evaluators. A post-experiment survey of participants provides insights into how to evaluate and improve the quality of natural language generation systems.

연구 동기 및 목표

• 온라인 리뷰 생성에서 신경망 텍스트 생성(NLG) 평가 방법의 일관성과 신뢰성을 체계적으로 평가하기.
• 자동화된 악성 평가자가 인간의 텍스트 품질 평가와 상관관계가 있는지 조사하기.
• 어휘 다양성과 어휘 일치 지표가 인간 평가자와 기계 평가자의 선호도를 예측하는 데 어떤 역할을 하는지 평가하기.
• 인간 평가자와 자동 평가 결과 간 격차를 유발하는 요인을 규명하기.
• 평가자 행동과 선호도를 바탕으로 향후 NLG 시스템 개발을 향상시키기 위한 통찰 제공하기.

제안 방법

• 온라인 리뷰 생성을 위한 12개의 최신 NLG 모델에 대해 두 명의 독립된 인간 평가자가 품질을 평가한 대규모 인간 평가 연구를 수행하였다.
• 실제 리뷰와 가짜 리뷰 데이터를 사용하여 인간이 작성한 리뷰와 기계가 생성한 리뷰를 구분할 수 있도록 판별적 메타판별기 모델을 훈련시켰다.
• 표준 어휘 일치 지표(BLEU, ROUGE)와 Self-BLEU를 사용해 생성된 리뷰의 어휘 유사성과 다양성을 측정하였다.
• 생성된 텍스트 내 고유한 n-그램(일반형, 이중형, 삼중형) 수를 총 토큰 수로 나누어 어휘 다양성을 측정하였다.
• 생성된 리뷰와 트레이닝 세트 리뷰 간의 BLEU 점수를 계산하여 기억화(memorization) 정도를 측정하였다(G-train).
• Kendall’s tau-b 상관계수를 사용해 평가자 순위와 모델 특성 간의 상관관계를 분석하였다.

실험 결과

연구 질문

• RQ1 인간 평가자가 생성된 온라인 리뷰의 품질 순위를 자동 판별적 평가자와 얼마나 잘 일치시키는가?
• RQ2 어휘 일치 지표(BLEU 등)가 리뷰 품질에 대한 인간 평가와 어느 정도 상관관계가 있는가?
• RQ3 생성된 리뷰의 어휘 다양성은 인간 평가자와 자동 평가자의 순위와 어떻게 관련되어 있는가?
• RQ4 학습 데이터의 기억화(G-train 기반 BLEU로 측정)는 인간 평가자와 자동 평가자의 성능에 영향을 미치는가?
• RQ5 사용자 설문 조사 결과에서 향후 NLG 시스템 설계 및 평가 개선을 위한 통찰은 무엇인가?

주요 결과

• 인간 평가자와 판별적 평가자 간의 상관관계가 매우 낮음(Kendall’s tau-b < 0.2)으로, 악성 정확도가 인간의 품질 인식을 신뢰할 만한 대체 지표로 쓸 수 없음을 시사한다.
• 인간 평가자가 판별적 평가자보다 어휘 다양성과 어휘 일치 지표와 더 강한 상관관계를 보이며, 표면 수준의 언어적 특징이 인간이 인지하는 품질의 예측 요소로 더 유의미하다는 것을 시사한다.
• 어휘 다양성이 높은(특히 삼중형 다양성) 생성 모델은 판별기에게 더 잘 속지만, 인간 평가자는 이를 더 정확하게 기계 생성물로 식별함으로써 인간과 기계의 탐지 전략 간 괴리가 있음을 보여준다.
• Self-BLEU 점수는 인간 평가자와는 부적절한 상관관계를 보이고, 판별적 평가자와는 정적 상관관계를 보이며, 이는 현재 모델의 주요 한계인 다양성 부족을 판별기가 심하게 처벌한다는 것을 확인한다.
• GAN 기반 모델은 트레이닝 세트(G-train)와의 n-그램 일치도가 낮아 기억화 정도가 낮으며, 이는 판별기에게 더 잘 숨겨지지만, 이는 인간 평가 점수로 이어지지 않는다.
• 실험 후 설문 조사 결과, 인간 평가자는 문장의 자연스러움과 유창성보다는 문장의 어휘 빈도를 더 중요하게 여기며, 문법적 다양성보다는 어휘의 풍부함에 더 영향을 받는 것으로 나타났다.