[논문 리뷰] Generating Multiple Diverse Responses with Multi-Mapping and Posterior Mapping Selection

Chaotao Chen, Jinhua Peng외 3명|arXiv (Cornell University)|2019. 06. 05.

Topic Modeling참고 문헌 27인용 수 6

한 줄 요약

이 논문은 개방형 대화에서 다양하고 고급 수준의 응답을 생성하기 위해 사후 맵핑 선택을 통한 다중 매핑 메커니즘을 제안한다. 학습 중에 타겟 응답에 맞는 적절한 매핑 모듈을 사후 인지 모듈을 통해 선택함으로써, 잠재적 메커니즘을 정밀하게 최적화할 수 있도록 모델을 설계하였다. 이로 인해 벤치마크 데이터셋에서 응답의 다양성과 정보성 측면에서 기존 방법들을 능가한다.

ABSTRACT

In human conversation an input post is open to multiple potential responses, which is typically regarded as a one-to-many problem. Promising approaches mainly incorporate multiple latent mechanisms to build the one-to-many relationship. However, without accurate selection of the latent mechanism corresponding to the target response during training, these methods suffer from a rough optimization of latent mechanisms. In this paper, we propose a multi-mapping mechanism to better capture the one-to-many relationship, where multiple mapping modules are employed as latent mechanisms to model the semantic mappings from an input post to its diverse responses. For accurate optimization of latent mechanisms, a posterior mapping selection module is designed to select the corresponding mapping module according to the target response for further optimization. We also introduce an auxiliary matching loss to facilitate the optimization of posterior mapping selection. Empirical results demonstrate the superiority of our model in generating multiple diverse and informative responses over the state-of-the-art methods.

연구 동기 및 목표

• 단일 입력에 대해 여러 유효한 응답이 존재하는 개방형 대화에서의 일대다 응답 생성 문제를 해결하기 위해.
• 기존 방법들이 다양성을 위해 다수의 잠재 요소를 사용하지만, 이로 인해 잠재 메커니즘이 브러시하게 최적화되는 문제를 해결하기 위해.
• 목표 응답을 해당 잠재 메커니즘에 명시적으로 연결함으로써 모델의 해석 가능성과 다중 모odal 응답 포착 능력을 향상시키기 위해.
• 각 매핑 모듈의 정확한 학습을 위해 사후(타겟 응답) 정보를 활용해 메커니즘 선택을 수행하기 위해.
• 사후 맵핑 선택을 지도하는 보조 매칭 손실을 통해 응답의 다양성과 품질을 향상시키기 위해.

제안 방법

• 입력 게시물에서 다양한 응답으로의 별개의 의미 맵핑을 모델링하기 위해 다수의 매핑 모듈을 잠재 메커니즘으로 사용하는 다중 매핑 메커니즘을 도입한다.
• 학습 중에 타겟 응답 정보를 기반으로 정답 응답에 해당하는 매핑 모듈을 선택하는 사후 맵핑 선택 모듈을 활용한다.
• 각 학습 예제마다 선택된 매핑 모듈만 최적화함으로써, 각 메커니즘의 정밀하고 집중적인 학습을 보장한다.
• 입력 게시물과 타겟 응답 간의 관련성을 평가하기 위해 보조 매칭 손실을 통합함으로써, 사후 맵핑 선택의 정확도를 향상시킨다.
• 각 매핑 모듈이 공유 인코더와 별도의 디코더 헤드를 통해 별개의 응답 패턴을 학습하는 어텐션 기반의 시퀀스 투 시퀀스 프레임워크를 사용한다.
• 생성된 응답에 대한 키워드 분석을 수행하여 각 매핑 모듈가 포착한 의미적 규칙성(예: 질문형, 감정 표현형, 의견 제시형 등)을 해석한다.

실험 결과

연구 질문

• RQ1 명시적인 사후 맵핑 선택을 통한 다중 매핑 메커니즘이 개방형 대화에서 응답의 다양성과 품질을 향상시킬 수 있는가?
• RQ2 타겟 응답 정보를 기반으로 올바른 매핑 모듈을 선택하는 것이 잠재 메커니즘의 정확하고 효과적인 최적화로 이어지는가?
• RQ3 제안된 모델은 질문 제기, 감정 표현, 의견 공유와 같은 해석 가능하고 명확한 응답 패턴을 포착할 수 있는가?
• RQ4 보조 매칭 손실이 사후 맵핑 선택 모듈의 최적화에 어떤 기여를 하는가?
• RQ5 기존 방법들에 비해 모델이 다양하고 유창하며 정보적인 응답을 얼마나 뛰어나게 생성하는가?

주요 결과

• 제안된 모델은 Weibo 및 Cornell Movie Dialog 데이터셋에서 최신 기술 대비 유의미하게 더 높은 다양성과 정보성의 응답을 생성한다.
• 키워드 분석 결과 각 매핑 모듈가 별개이면서 해석 가능한 응답 패턴(예: 질문형, 감정 표현형, 의견 제시형 등)을 포착하고 있음이 확인되었다.
• 사후 맵핑 선택 모듈이 각 타겟 응답에 적합한 매핑 모듈을 효과적으로 식별하여 집중적인 최적화를 가능하게 하였다.
• 보조 매칭 손실이 사후 맵핑 선택의 성능을 향상시켜 종합적인 응답 생성 품질 향상에 기여하였다.
• 실증 결과는 자동 평가 지표와 인간 평가 모두에서 기존 방법들을 능가하는 모델의 우수성을 입증하였다. 특히 응답의 다양성과 정보성 측면에서 뛰어난 성능을 보였다.
• 모델는 다중 모달 응답 분포를 포착하는 데 있어 강건성을 보였으며, 가우시안 기반 및 어텐션 기반 베이스라인에 비해 다양한 응답 패턴을 더 잘 모델링하였다.