[논문 리뷰] RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems

Chongyang Tao, Lili Mou외 2명|arXiv (Cornell University)|2017. 01. 11.

Topic Modeling인용 수 118

한 줄 요약

RUBER는 음의 샘플링으로 학습된 참조 기반 임베딩 유사도(참조)와 쿼리-응답 관련성 모델(비참조)을 결합하여 인간 만족도 라벨 없이 오픈 도메인 대화 응답을 자동으로 평가한다.

ABSTRACT

Open-domain human-computer conversation has been attracting increasing attention over the past few years. However, there does not exist a standard automatic evaluation metric for open-domain dialog systems; researchers usually resort to human annotation for model evaluation, which is time- and labor-intensive. In this paper, we propose RUBER, a Referenced metric and Unreferenced metric Blended Evaluation Routine, which evaluates a reply by taking into consideration both a groundtruth reply and a query (previous user-issued utterance). Our metric is learnable, but its training does not require labels of human satisfaction. Hence, RUBER is flexible and extensible to different datasets and languages. Experiments on both retrieval and generative dialog systems show that RUBER has a high correlation with human annotation.

연구 동기 및 목표

• 비싼 인간 주석에 의존하므로 오픈 도메인 대화 시스템에 대한 자동 평가를 촉진한다.
• 정답 응답과 그에 대한 질의를 모두 활용하여 응답 품질을 평가하는 하이브리드 지표를 제안한다.
• 참조 임베딩 기반 스코어러와 음의 샘플링으로 학습된 비참조 신경망 스코어러의 두 가지 구성요소를 개발한다.
• RUBER가 인간 판단과의 상관관계가 좋고 데이터셋과 언어를 넘나들며 이전되는 것을 보여준다.

제안 방법

• 참조 메트릭 s_R은 정답과 생성된 응답의 단어 임베딩을 풀링한 후 코사인 유사도를 계산한다.
• 비참조 메트릭 s_U는 쿼리-응답 관련성을 점수화하기 위해 Bi-GRU 기반의 신경망을 사용하며, 음의 샘플링과 마진 기반 손실로 학습한다.
• s_U용 신경망은 쿼리와 응답 임베딩을 연결하고, 2차 특성 q^T M r을 포함하며, 시그모이드 MLP를 통해 경계가 있는 점수를 출력한다.
• 음의 샘플링은 정답 쿼리-응답 쌍과 임의로 선택된 부정 응답을 사용하여 모델을 마진 Δ로 학습시킨다.
• 하이브리드 RUBER는 정규화된 s_R과 s_U를 최소값, 최대값, 기하평균, 산술평균과 같은 간단한 휴리스틱으로 결합하여 최종 점수를 산출한다.

실험 결과

연구 질문

• RQ1 제로샷(제로샷), 비감독 평가 지표가 오픈 도메인 대화에 대해 인간 판단과 일치할 수 있는가?
• RQ2 정답 참조와 쿼리-응답 관련성을 모두 포함하는 것이 단일 지표 방식보다 평가 신뢰도를 향상시키는가?
• RQ3 라벨링된 평가 데이터 없이 RUBER가 데이터셋과 언어 간에 얼마나 잘 이전되는가?
• RQ4 음의 샘플링이 대화 평가에서 비참조 점수를 학습하는 효과적인 학습 전략인가?

주요 결과

• Ruber는 오픈 도메인 대화에서 BLEU, ROUGE와 같은 전통적 지표보다 인간 판단과의 피어슨 상관계수와 스피어만 상관계수를 더 높게 달성한다.
• 비참조 s_U 구성요소(신경망 스코어러)가 참조 s_R 구성요소를 자주 능가하여 쿼리-응답 의미론의 가치를 강조한다.
• s_R과 s_U의 하이브리드 조합은 어느 한 구성요소보다 상당히 우수하게 작동하며 인간에 가까운 상관 수준에 근접한다.
• Ruber는 전체 재학습 없이 Douban에서 Baidu Tieba로의 서로 다른 중국어 데이터셋 간에도 비교적 양호한 이전 가능성을 보이며 기본선보다 우수한 성능을 유지한다.
• 모든 구성요소가 비지도 혹은 약하게 지도되므로 수작업으로 라벨된 만족도 점수에 의존하지 않아 유연성과 적용성을 향상시킨다.