[논문 리뷰] Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings

Sarik Ghazarian, Johnny Tian-Zheng Wei외 2명|arXiv (Cornell University)|2019. 04. 24.

Topic Modeling참고 문헌 25인용 수 15

한 줄 요약

이 논문은 RUBER 메트릭 프레임워크 내에서 정적 워드 임베딩을 문맥 기반 BERT 임베딩으로 대체하여 개방형 대화 시스템의 자동 평가를 향상시킨다. BERT의 풍부한 문맥 기반 표현을 활용하고 네트워크 아키텍처 및 손실 함수를 최적화함으로써 제안된 방법은 원래 RUBER보다 인간 평가와 더 높은 상관관계를 달성하며, 이는 문맥 기반 임베딩이 평가 정확도를 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Despite advances in open-domain dialogue systems, automatic evaluation of such systems is still a challenging problem. Traditional reference-based metrics such as BLEU are ineffective because there could be many valid responses for a given context that share no common words with reference responses. A recent work proposed Referenced metric and Unreferenced metric Blended Evaluation Routine (RUBER) to combine a learning-based metric, which predicts relatedness between a generated response and a given query, with reference-based metric; it showed high correlation with human judgments. In this paper, we explore using contextualized word embeddings to compute more accurate relatedness scores, thus better evaluation metrics. Experiments show that our evaluation metrics outperform RUBER, which is trained on static embeddings.

연구 동기 및 목표

• 다양하고 타당한 응답에서 n-그램 겹침이 낮아 실패하는 참조 기반 메트릭(예: BLEU)의 한계를 해결하기 위해.
• 문맥 기반 워드 임베딩을 활용하여 개방형 대화 시스템의 자동 평가를 향상시키기 위해, 이는 문맥 전반에서 의미를 더 잘 포착한다.
• 기존 RUBER 메트릭의 참조 없음 성분을 향상시키기 위해 정적 word2vec 임베딩을 BERT 임베딩으로 대체하기 위해.
• 문맥 기반 임베딩의 잠재력을 최대한 활용하기 위해 아키텍처 및 학습 목표의 변화를 조사하기 위해.
• 비용이 많이 드는 인간 애너테이션에 의존도를 줄이고 더 신뢰할 수 있고 확장성 있고 인간 평가와 상관관계가 높은 평가 메트릭을 개발하기 위해.

제안 방법

• RUBER의 참조 없음 메트릭 내 정적 word2vec 임베딩을 문맥 기반 BERT 임베딩으로 대체하여 문맥 내 단어 표현의 의미를 향상시킨다.
• 원래 RUBER 아키텍처의 양방향 RNN을 간단한 풀링 전략(예: 평균 풀링 또는 최대 풀링)으로 대체하여 BERT 임베딩에서 문장 수준 표현을 추출한다.
• 순위 손실에서 다층 퍼셉트론(MLP)과 교차 엔트로피 손실로 전환하여 관련성 점수 모델을 훈련시키며, 엔드 투 엔드 최적화를 가능하게 한다.
• 모든 쿼리가 올바른 응답과 여러 개의 부정적 응답과 쌍을 이루는 음성 샘플링을 사용하여 관련성 점수를 구분하는 것을 학습한다.
• RUBER와 동일한 참조 기반 메트릭을 사용하며, 이는 풀링된 BERT 임베딩을 통해 생성된 응답과 기준 응답 간의 유사도를 계산한다.
• 워드 임베딩(Word2Vec 대비 BERT), 문장 표현 방법(Bi-RNN 대비 풀링), 손실 함수(순위 손실 대비 교차 엔트로피)의 2×2×2 요인 실험을 수행하여 성능 향상의 원인을 분리한다.

실험 결과

연구 질문

• RQ1 정적 임베딩 대비 BERT와 같은 문맥 기반 임베딩이 개방형 대화 시스템의 자동 평가 메트릭 성능 향상에 기여하는가?
• RQ2 Bi-RNN을 풀링 레이어로 대체하는 아키텍처 변화가 BERT 기반 평가 모델의 효과성에 어떤 영향을 미치는가?
• RQ3 순위 손실에서 교차 엔트로피 손실 함수로 전환하면 관련성 점수 예측 능력이 향상되는가?
• RQ4 BERT 임베딩이 인간 평가의 응답 품질에 대한 상관관계를 얼마나 향상시키는가?
• RQ5 개선된 메트릭은 인간 애너테이션 기반 응답 품질 레이블에 의존하지 않더라도 강력한 성능을 유지할 수 있는가?

주요 결과

• BERT 임베딩과 최적화된 아키텍처를 사용하는 제안된 방법은 인간 평가의 응답 관련성 판단을 예측하는 데 원래 RUBER 메트릭을 능가한다.
• 정적 word2vec 임베딩을 BERT 임베딩으로 대체함으로써 참조 없음 메트릭의 인간 애너테이션과의 상관관계가 크게 향상된다.
• Bi-RNN 대신 단순한 풀링 전략을 사용함으로써 문장 표현을 추출하면 모델 복잡도를 줄이고도 동등하거나 더 나은 성능을 낸다.
• 학습 목표에서 순위 손실을 교차 엔트로피 손실로 전환함으로써 관련성 있는 응답과 관련성이 없는 응답을 더 잘 구분할 수 있는 능력이 향상된다.
• BERT 임베딩과 교차 엔트로피 손실의 조합이 모든 실험 설정에서 인간 평가와 가장 높은 상관관계를 달성한다.
• 결과는 문맥 기반 임베딩이 인간 평가의 대화 응답 품질과 더 잘 일치하는 더 풍부한 의미 표현을 제공한다는 것을 보여준다.