[논문 리뷰] Relevance of Unsupervised Metrics in Task-Oriented Dialogue for Evaluating Natural Language Generation

Shikhar Sharma, Layla El Asri외 2명|arXiv (Cornell University)|2017. 06. 29.

Topic Modeling참고 문헌 19인용 수 183

한 줄 요약

이 논문은 비지도 자동 메트릭(BLEU, METEOR, ROUGE, 임베딩 기반 메트릭스)이 작업 지향 대화 NLG에서 인간 판단과 상관관계가 있는지 경험적으로 평가하고, METEOR가 일반적으로 가장 잘 정렬되며 다중 참조가 상관관계를 개선한다는 것을 발견했다; DSTC2와 Restaurants 데이터셋을 사용하고 여러 NLG 모델을 활용한다.

ABSTRACT

Automated metrics such as BLEU are widely used in the machine translation literature. They have also been used recently in the dialogue community for evaluating dialogue response generation. However, previous work in dialogue response generation has shown that these metrics do not correlate strongly with human judgment in the non task-oriented dialogue setting. Task-oriented dialogue responses are expressed on narrower domains and exhibit lower diversity. It is thus reasonable to think that these automated metrics would correlate well with human judgment in the task-oriented setting where the generation task consists of translating dialogue acts into a sentence. We conduct an empirical study to confirm whether this is the case. Our findings indicate that these automated metrics have stronger correlation with human judgments in the task-oriented setting compared to what has been observed in the non task-oriented setting. We also observe that these metrics correlate even better for datasets which provide multiple ground truth reference sentences. In addition, we show that some of the currently available corpora for task-oriented language generation can be solved with simple models and advocate for more challenging datasets.

연구 동기 및 목표

• 작업 지향 대화 생성에서 비지도 자동 메트릭이 인간 판단과 상관관계가 있는지 평가한다.
• 두 개의 작업 지향 데이터셋에서 워드 오버랩(단어 겹침) 기반 메트릭과 임베딩 기반 메트릭을 비교한다.
• 모델 복잡도와 데이터셋 특성이 메트릭-인간 정렬성에 어떤 영향을 미치는지 평가한다.

제안 방법

• DSTC2 및 Restaurants 데이터셋에서 비지도 자동 메트릭(BLEU, METEOR, ROUGE, Skip-Thought, 임베딩 평균, 벡터 극값, 탐욕 매칭)과 인간 판단 간의 상관관계를 조사하고 계산한다.
• 대화 행위를 자연어로 번역하도록 학습된 여러 NLG 모델(Random, LSTM, delex-scLSTM, hierarchical-lex-delex-scLSTM)을 구현하고 비교한다.
• 동일 비교를 위한 출력 생성을 위해 슬롯 오차율 페널티를 사용하는 빔 탐색 디코딩을 사용한다.

실험 결과

연구 질문

• RQ1 비지도 자동 메트릭이 비작업-지향이 아닌 설정에서와 마찬가지로 작업 지향 대화 NLG에서도 인간 판단과 상관관계가 있는가?
• RQ2 이 도메인에서 인간 평가와 가장 잘 상관관계가 있는 자동 메트릭은 무엇인가?
• RQ3 다중 참조 문장이 상관관계 향상에 영향을 주는가?
• RQ4 작업 지향 NLG 벤치마크에서 높은 메트릭 점수를 달성하기 위해 복잡한 신경 디코딩 구조가 필요한가?
• RQ5 DSTC2 및 Restaurants와 같은 작업 지향 데이터셋이 현재의 NLG 모델과 메트릭에 충분히 도전적인가?

주요 결과

• 자동 메트릭이 작업 지향 설정에서 인간 판단과 양의 상관관계를 보이나 일부 비작업 지향 결과와는 다르다.
• METEOR가 두 데이터셋에서 일관되게 인간 평가와 가장 잘 상관관계가 있다.
• 임베딩 기반 문장 유사도 메트릭은 대부분의 모델에서 단어 겹침 메트릭과 비슷한 상관관계를 보인다.
• Restaurants에서처럼 다중 참조는 자동 메트릭과 인간 판단 간의 상관관계를 증가시킨다.
• 간단한 모델(예: 빔 탐색을 사용하는 LSTM)은 높은 자동 메트릭 점수를 달성하여 이 데이터셋이 덜 도전적일 수 있음을 시사하고, 더 크고 복잡한 벤치마크의 필요성을 제기한다.