[논문 리뷰] Retrieve and Refine: Improved Sequence Generation Models For Dialogue

Jason Weston, Emily Dinan외 1명|arXiv (Cornell University)|2018. 08. 14.

Topic Modeling참고 문헌 16인용 수 17

한 줄 요약

이 논문은 후보 집합에서 관련 응답을 검색하고 시퀀스 톸림 모델을 사용하여 이를 개선하는 하이브리드 대화 생성 모델인 RetrieveNRefine(RetNRef)을 제안한다. 검색된 응답을 대화 이력과 연결하여 맥락으로 활용함으로써, 독립적인 검색 모델이나 생성 모델보다 더 매력적이고 맥락에 부합하는 응답을 생성하며, ConvAI2 데이터셋에서 인간 평가 점수에서 뛰어난 성능을 달성한다.

ABSTRACT

Sequence generation models for dialogue are known to have several problems: they tend to produce short, generic sentences that are uninformative and unengaging. Retrieval models on the other hand can surface interesting responses, but are restricted to the given retrieval set leading to erroneous replies that cannot be tuned to the specific context. In this work we develop a model that combines the two approaches to avoid both their deficiencies: first retrieve a response and then refine it -- the final sequence generator treating the retrieval as additional context. We show on the recent CONVAI2 challenge task our approach produces responses superior to both standard retrieval and generation models in human evaluations.

연구 동기 및 목표

• 단일 시퀀스 생성 모델의 한계를 해결하기 위해, 대화에서 짧고 일반적이며 정보가 부족한 응답을 자주 생성하는 문제를 해결한다.
• 검색 전용 모델의 경직됨을 극복하기 위해, 정확한 일치가 없을 경우 특정 대화 맥락에 맞게 응답을 조정할 수 없는 문제를 해결한다.
• 검색의 사실적 풍부성과 생성의 유연성을 활용하여 더 매력적이고 맥락 인식 능력이 뛰어난 대화를 위한 하이브리드 모델을 개발한다.
• 검색된 후보를 시퀀스 생성을 통해 개선함으로써 응답 품질을 향상시키되, 적절한 경우 그 의미적 내용을 유지한다.

제안 방법

• 모델은 대화 이력과 검색된 응답을 조건으로 하는 표준 2층 LSTM과 어텐션 메커니즘을 사용하여 생성기를 구성한다.
• 키-밸류 메모리 네트워크는 대화 이력와의 코사인 유사도를 기반으로 훈련 데이터셋에서 가장 관련성이 높은 응답을 검색한다.
• 검색된 응답은 특수 분리 토큰으로 앞서고, 대화 이력와 연결되어 생성기의 입력 시퀀스가 된다.
• 모델은 각 훈련 터닝에 대해 사전에 검색 결과를 계산하고, 정답 레이블과의 유사도 기반으로 상위 100개 후보를 재정렬하여 큰 분포 이탈을 방지한다.
• 두 가지 변형이 도입되었으며, RetNRef+는 초기 페르소나 프로필을 자르는 방식으로 검색된 응답에 주의를 집중시킨다. RetNRef++는 단어 오버랩 비율이 60%를 초과할 경우 검색된 응답을 정확히 복사하도록 강제한다.
• 인간 평가는 A/B 테스트를 통해 수행되며, 평가자들은 모델이 생성한 응답과 인간 응답 또는 다른 모델 출력 중에서 선택한다.

실험 결과

연구 질문

• RQ1 검색과 생성을 융합함으로써, 각각을 별도로 사용할 경우보다 대화 응답의 품질을 향상시킬 수 있는가?
• RQ2 시퀀스 생성기를 사용해 검색된 응답을 개선함으로써 더 매력적이고 맥락에 부합하며 다양한 응답을 얻을 수 있는가?
• RQ3 모델이 언제 검색된 응답을 그대로 복사할지, 언제 수정할지를 결정하는 데 얼마나 효과적인가?
• RQ4 모델은 사실적 일관성과 논리적 흐름을 유지하면서도 '모르겠다' 문제를 피할 수 있는가?

주요 결과

• RetNRef++는 Memory Network 기반 검색 모델과의 A/B 인간 평가에서 통계적으로 유의미한 승률 54.5%를 기록하며 인간 선호도에서 승리했다.
• 기본 Seq2Seq 생성 모델과의 A/B 비교에서 54%의 승률을 기록하여 더 뛰어난 참여도와 논리적 일관성을 입증했다.
• RetNRef++는 단어 수준의 복사 실수로 인한 오류를 줄이기 위해 60% 이상의 오버랩이 발생할 경우 검색된 응답을 정확히 복사하도록 강제함으로써 신뢰성을 향상시켰다.
• 인간 평가자들은 RetNRef++의 응답을 자연스럽고 관련성이 있으며, 검색된 문장에서 유래한 페르소나 정보(예: 반려동물, 음료, 개인적 성향 등)를 잘 활용한 것으로 평가했다.
• 모델는 검색과 생성 사이의 균형을 성공적으로 유지했으며, 약 50%의 경우에 검색된 응답을 그대로 복사하고 나머지 약 50%의 경우에 맥락과 품질에 따라 개선함으로써 적절한 선택을 했다.