[논문 리뷰] Response Generation by Context-aware Prototype Editing

Yu Wu, Furu Wei외 4명|arXiv (Cornell University)|2018. 06. 19.

Software Engineering Research인용 수 13

한 줄 요약

이 논문은 개방형 도메인 응답 생성을 위한 프로토타입-편집 프레임워크를 제안한다. 이 프레임워크는 맥락 유사도 기반으로 프로토타입 응답을 검색하고, 맥락 차이를 바탕으로 이를 편집함으로써 관련성, 다양성, 독창성을 향상시킨다. 맥락 인식 편집 벡터를 사용하여 성능을 개선한다. 대규모 중국어 데이터셋에서의 실험 결과, 이는 생성형 및 검색 기반 모델을 모두 능가하는 주요 지표를 확보한다.

ABSTRACT

Open domain response generation has achieved remarkable progress in recent years, but sometimes yields short and uninformative responses. We propose a new paradigm for response generation, that is response generation by editing, which significantly increases the diversity and informativeness of the generation results. Our assumption is that a plausible response can be generated by slightly revising an existing response prototype. The prototype is retrieved from a pre-defined index and provides a good start-point for generation because it is grammatical and informative. We design a response editing model, where an edit vector is formed by considering differences between a prototype context and a current context, and then the edit vector is fed to a decoder to revise the prototype response for the current context. Experiment results on a large scale dataset demonstrate that the response editing model outperforms generative and retrieval-based models on various aspects.

연구 동기 및 목표

• 개방형 대화에서 생성형 모델이 짧고 일반적인 응답을 생성하는 '안전한 응답' 문제를 해결하기 위해.
• 기존의 고품질 프로토타입 응답을 활용하여 응답의 관련성과 다양성을 향상시키기 위해.
• 기존의 고정된 검색 인덱스에 의존도를 줄이면서도 유창성과 정보성은 유지하는 유연하고 맥락 인식 편집 메커니즘을 개발하기 위해.
• 기존의 고정된 검색 인덱스에 의존도를 줄이면서도 유창성과 정보성은 유지하는, 맥락에 적응하는 편집 메커니즘을 개발하기 위해.

제안 방법

• 모델은 맥락 유사도 기반으로 사전 정의된 인덱스에서 프로토타입 응답을 검색한다.
• 삽입 및 삭제 단어 임베딩의 가중 평균으로 구성된 편집 벡터가 현재 맥락과 프로토타입 맥락 간의 어휘적 차이에서 유도된다.
• 삽입 단어는 프로토타입 맥락에 존재하지만 현재 맥락에는 없는 단어이다. 삭제 단어는 현재 맥락에 존재하지만 프로토타입 맥락에는 없는 단어이다.
• 디코더는 병합된 은닉 상태와 편집 벡터를 조건으로 삼는 GRU 기반 어텐션 메커니즘을 사용하여 수정된 응답을 생성한다.
• 에코더는 프로토타입 응답을 인코딩하기 위해 GRU를 사용하며, 디코더는 프로토타입 표현을 주시하면서 동시에 편집 벡터를 통합한다.
• 모델은 샘플별로 동적으로 계산되는 편집 벡터를 사용하여 엔드 투 엔드로 훈련되며, 순서-순서 변환 목적함수를 사용한다.

실험 결과

연구 질문

• RQ1 기존의 표준 생성형 모델과 비교해 프로토타입 기반 편집이 응답의 관련성과 다양성 향상에 기여하는가?
• RQ2 맥락 인식 편집이 새로운 대화 맥락에 맞게 검색된 응답을 얼마나 효과적으로 적응시키는가?
• RQ3 독창성과 관련성 측면에서 편집 메커니즘이 검색 기반 베이스라인을 능가하는가?
• RQ4 삽입 및 삭제 단어 임베딩은 응답 품질 향상에 어떤 역할을 하는가?
• RQ5 모델이 프로토타입을 그대로 복사하거나 관련 없는 응답을 생성하는 정도는 어느 정도인가?

주요 결과

• 기존의 순서-순서 생성 모델과 비교해 모델은 응답의 관련성, 다양성, 독창성 모두를 크게 향상시킨다.
• 편집 벡터를 제거하면 임베딩 기반 지표가 급격히 감소함으로써, 관련성 향상에 있어 편집 벡터의 핵심적 역할을 확인한다.
• 편집 벡터가 없더라도 다양성과 독창성은 높게 유지됨을 확인하여, 프로토타입 응답 자체가 이 두 가지 품질의 주요 원동력임을 시사한다.
• 수정된 응답 중 2%만이 프로토타입과 동일함을 확인하여, 모델이 복제 모델이 되는 것을 피하고 있음을 보여준다.
• 수정된 응답 중 30%가 프로토타입과 관련이 없다고 평가됨을 통해, 모델이 종종 보수적인 편집을 넘어서 완전히 재작성하고 있음을 확인한다.
• 사례 연구를 통해 모델이 삽입, 삭제, 대체 편집을 모두 효과적으로 처리함을 확인하였으며, '비건 디저트' vs. ' tempeh와 채소'와 같은 맥락 이동의 경우에도 잘 작동함을 보였다.