[논문 리뷰] How To Evaluate Your Dialogue System: Probe Tasks as an Alternative for Token-level Evaluation Metrics

Prasanna Parthasarathi, Joëlle Pineau외 1명|arXiv (Cornell University)|2020. 08. 24.

Topic Modeling참고 문헌 66인용 수 5

한 줄 요약

이 논문은 생성적 대화 시스템 평가를 위한 토큰 수준 지표의 엄밀한 대안으로 프로브 작업을 제안한다. 표면적 생성을 넘어서 맥락 이해를 테스트하는 결정론적이고 인간이 애너테이션한 작업을 설계함으로써, 저자들은 트랜스포머 모델이 BLEU 점수에서는 뛰어나지만 이해 과제에서는 RNN 기반 모델보다 열등한 성능을 보임을 입증하며, 현재의 지표가 포착하지 못하는 모델 이해의 심각한 격차를 드러낸다.

ABSTRACT

Though generative dialogue modeling is widely seen as a language modeling task, the task demands an agent to have a complex natural language understanding of its input text to carry a meaningful interaction with an user. The automatic metrics used evaluate the quality of the generated text as a proxy to the holistic interaction of the agent. Such metrics were earlier shown to not correlate with the human judgement. In this work, we observe that human evaluation of dialogue agents can be inconclusive due to the lack of sufficient information for appropriate evaluation. The automatic metrics are deterministic yet shallow and human evaluation can be relevant yet inconclusive. To bridge this gap in evaluation, we propose designing a set of probing tasks to evaluate dialogue models. The hand-crafted tasks are aimed at quantitatively evaluating a generative dialogue model's understanding beyond the token-level evaluation on the generated text. The probing tasks are deterministic like automatic metrics and requires human judgement in their designing; benefiting from the best of both worlds. With experiments on probe tasks we observe that, unlike RNN based architectures, transformer model may not be learning to comprehend the input text despite its generated text having higher overlap with the target text.

연구 동기 및 목표

• 자동 지표(예: BLEU, ROUGE)와 인간 평가 간의 낮은 상관관계가 대화 시스템 평가에서 문제시됨을 해결하기 위해.
• 부족한 정보로 인해 주관적이며 시간이 오래 걸리고 종종 결론이 불명확한 인간 평가의 한계를 극복하기 위해.
• 모델의 언어 이해 능력을 분리하여 측정할 수 있는 결정론적이고 해석 가능한 평가 프레임워크를 개발하기 위해.
• 특히 뛰어난 생성 능력과 낮은 이해 능력 간 격차를 보이는 생성적 대화 모델의 아키텍처적 약점을 규명하기 위해.
• 표면적 유창성과는 독립적으로 대화 맥락을 추론하는 능력에 기반해 모델를 비교할 수 있는 벤치마크를 제공하기 위해.

제안 방법

• 엔티티 추적, 공명어 처리, 의도 추론 등의 특정 대화 이해 요소를 테스트하는 수작업 프로브 작업 세트를 설계한다.
• 세 가지 난이도 수준으로 프로브 작업을 구성한다: 쉬움(높은 기준 F1), 보통(중간 기준), 어려움(낮은 기준 F1), 체계적인 비교를 가능하게 한다.
• 멀티워즈 데이터셋에서 LSTM, HRED, BiLSTM, 트랜스포머 등의 다양한 대화 아키텍처를 프로브 작업을 사용해 훈련 및 평가한다.
• 프로브 작업 전반의 집계 F1 점수를 통합 평가 지표로 사용하며, 높은 점수는 더 나은 맥락 이해를 의미한다.
• 프로브 작업 간 모델 성능을 비교하여 일반화 능력과 인도크티브 바이어스를 평가하며, 특히 새로운 대화 추론 과제를 다룰 때의 성능을 분석한다.
• 프로브 작업에서 미학습 모델의 성능을 본질적 표현 능력의 Proxy로 사용하여, 기준 모델조차 어려운 작업을 식별한다.

실험 결과

연구 질문

• RQ1 프로브 작업은 대화 모델 평가를 위한 신뢰할 수 있고 결정론적인 자동 지표의 대안이 될 수 있는가?
• RQ2 강력한 생성 성능을 보이는 트랜스포머와 같은 모델이 높은 표면적 생성 품질을 보이지만 대화 맥락을 이해하지 못하는 정도는 어느 정도인가?
• RQ3 RNN과 트랜스포머 등의 다양한 신경망 아키텍처가 구조화된 이해 과제를 해결하는 데 얼마나 다른 능력을 보이는가?
• RQ4 현재 대화 모델 아키텍처의 근본적 한계를 드러내는 특정 프로브 작업이 존재하는가?
• RQ5 프로브 작업을 사용해 모델 이해 능력을 도전하는 데에 효과적인 대화 데이터셋을 순위 매길 수 있는가?

주요 결과

• 트랜스포머 모델은 중간 및 어려운 프로브 과제에서 각각 43.3% 및 24.4%의 F1 점수를 기록했지만, LSTM 기반 모델은 동일한 과제에서 각각 65.7% 및 44.4%의 점수를 기록했다.
• 더 높은 BLEU 점수를 기록했음에도 불구하고 트랜스포머 모델은 RNN 기반 모델보다 맥락 이해 능력이 열등함을 보이며, 생성 품질과 이해 능력 간의 괴리가 있음을 시사한다.
• 모든 모델이 어려운 프로브 과제에서 어려움을 겪었으며, 이는 현재 아키텍처가 깊은 대화 이해를 위한 충분한 인도크티브 바이어스를 갖추지 못하고 있음을 시사한다.
• 프로브 작업은 모델들이 유창한 응답을 생성함에도 불구하고 엔티티 추적과 공명어 처리를 정확히 수행하지 못함을 드러냈다.
• 결과적으로 토큰 수준 지표인 BLEU는 대화 시스템에서 진정한 언어 이해를 위한 좋은 Proxy가 되지 못한다.
• 이 연구는 프로브 작업이 아키텍처적 약점을 효과적으로 규명하고, 대화 이해 능력이 뛰어난 모델 개발을 위한 더 나은 인도크티브 바이어스를 안내하는 데에 효과적일 수 있음을 입증한다.