[논문 리뷰] Re-evaluating ADEM: A Deeper Look at Scoring Dialogue Responses

Ananya B. Sai, Mithun Das Gupta외 2명|arXiv (Cornell University)|2019. 02. 23.

Topic Modeling참고 문헌 30인용 수 8

한 줄 요약

이 논문은 ADEM, 즉 신경망 기반 자동 대화 응답 평가자에 대해 비정상적 공격의 취약성을 입증함으로써 체계적인 평가를 수행한다. 이 공격는 단순한 텍스트 변형, 예를 들어 단어 순서 뒤집기 등을 통해 점수를 조작할 수 있다. 인간 평가와 높은 상관관계를 주장하지만, ADEM은 평균 약 2.75, 표준편차 약 0.34로 매우 좁은 점수 범위를 부여하여 분별력이 떨어지고, 속임수에 쉽게 당할 수 있음을 보여, 개방형 대화 시스템에서 다양한 유효한 응답을 평가하는 데 신뢰성에 문제가 있음을 드러낸다.

ABSTRACT

Automatically evaluating the quality of dialogue responses for unstructured domains is a challenging problem. ADEM(Lowe et al. 2017) formulated the automatic evaluation of dialogue systems as a learning problem and showed that such a model was able to predict responses which correlate significantly with human judgements, both at utterance and system level. Their system was shown to have beaten word-overlap metrics such as BLEU with large margins. We start with the question of whether an adversary can game the ADEM model. We design a battery of targeted attacks at the neural network based ADEM evaluation system and show that automatic evaluation of dialogue systems still has a long way to go. ADEM can get confused with a variation as simple as reversing the word order in the text! We report experiments on several such adversarial scenarios that draw out counterintuitive scores on the dialogue responses. We take a systematic look at the scoring function proposed by ADEM and connect it to linear system theory to predict the shortcomings evident in the system. We also devise an attack that can fool such a system to rate a response generation system as favorable. Finally, we allude to future research directions of using the adversarial attacks to design a truly automated dialogue evaluation system.

연구 동기 및 목표

• 다양하고 유효한 응답을 평가하는 데 있어 ADEM, 즉 신경망 기반 자동 대화 평가 모델의 내성적 탄력성과 신뢰성에 대해 조사한다.
• 고품질과 저품질 응답을 구분하는 데에 한계를 보이는 ADEM의 점수 기반 설계 결함을 특정한다.
• 다양한 응답 유형에서 ADEM의 점수와 인간 평가 간의 의미 있는 상관관계가 존재하는지 평가한다.
• 목표 점수를 달성하기 위해 응답 임베딩을 최적화하는 타겟 공격을 통해 ADEM의 점수를 조작함으로써, 미세한 입력 변형에 취약함을 입증한다.
• 향후 연구가 더 탄력적이고 인간 평가와 관련성이 있으며, 비정상적 공격에 강건한 대화 평가 시스템 설계를 이끌도록 이끈다.

제안 방법

• 선형 시스템 이론과의 연결을 통해 ADEM의 점수 기능을 체계적으로 분석함으로써 내재된 설계 한계를 특정한다.
• 가이드드 백프로파게이션을 사용한 화이트박스 비정상적 공격를 수행하여, 목표 점수(4.6–4.9)로 향하는 응답 임베딩을 최적화한다.
• 47만 개의 트위터 응답 임베딩 데이터베이스에서 Annoy 색인을 사용해 가장 가까운 이웃 응답을 검색하여 고점수 응답을 근사한다.
• 전체 임베딩 데이터베이스를 대상으로 브루트 포스 검색을 수행하여 주어진 맥락에서 ADEM이 도달할 수 있는 이론적 최고 점수를 특정한다.
• 직접 점수 부여와 재정렬을 사용하여 인간 평가를 수행하여 ADEM의 상위 점수 응답의 인간 평가 관련성을 평가한다.
• 응답 전체에 걸쳐 ADEM 점수의 분포를 분석하여 평균 2.75 주위에 매우 좁은 분포를 보이며 표준편차 0.34를 보임을 확인한다.

실험 결과

연구 질문

• RQ1 단어 순서 뒤집기와 같은 단순하고 의미적으로 타당한 변형이 ADEM의 대화 응답 점수에 상당한 영향을 미칠 수 있는가?
• RQ2 ADEM의 점수 분포는 인간 평가를 얼마나 잘 반영하는가? 다양한 유효한 응답 간에 충분한 분별력을 보이는가?
• RQ3 응답 임베딩을 조작하여 인위적으로 높거나 낮은 점수를 얻는 타겟 비정상적 공격에 ADEM는 얼마나 취약한가?
• RQ4 주어진 맥락에서 ADEM의 점수 상한선은 얼마이며, 이는 인간이 평가한 최상위 응답의 품질과 어떻게 비교되는가?
• RQ5 ADEM에 대한 비정상적 공격를 통해 더 탄력적이고 인간 평가와 관련성이 있으며, 비정상적 공격에 강건한 대화 평가 시스템 설계를 이끌 수 있는가?

주요 결과

• ADEM은 매우 좁은 점수 분포를 보이며 평균 2.75, 표준편차 0.34로 다양한 응답 간 분별력이 떨어짐을 나타낸다.
• 응답 내 단어 순서 뒤집기와 같은 단순한 변형이 ADEM의 점수에 비논리적이고 인간 평가와 불일치하는 결과를 초래함으로써, 미세한 변형에 취약함을 입증한다.
• ADEM의 상위 점수 응답에 대한 평균 인간 평가는 5점 만점에 1.9점에 불과하여 ADEM 점수와 인간의 품질 인식 간 심각한 괴리가 있음을 보여준다.
• Annoy 색인을 사용해 가장 가까운 이웃을 검색한 결과, ADEM 점수는 평균 0.87 향상되어 평균 3.62에 도달하였으며, 이는 모델의 결정 경계에 이용 가능한 격차가 있음을 시사한다.
• 전체 임베딩 데이터베이스를 대상으로 한 브루트 포스 검색을 통해 평균 점수는 3.93으로 상승하였으며, 이는 ADEM이 일반적으로 도달하는 점수보다 이론적 최고 점수가 훨씬 높다는 것을 보여준다.
• 분석 결과, ADEM의 곱셈 상호작용 메커니즘이 임베딩의 뾰족한 구조를 유도하여 본질적으로 점수 분산을 제한하고, 응답 품질을 구분하는 능력을 약화시킴을 확인하였다.