[논문 리뷰] Neural Response Generation with Meta-Words

Can Xu, Wei Wu외 4명|arXiv (Cornell University)|2019. 06. 14.

Topic Modeling참고 문헌 32인용 수 6

한 줄 요약

이 논문은 대화 동작, 길이, 구체성과 같은 응답 속성의 구조적 표현인 메타워드를 사용하여 제어 가능하고 설명 가능한 개방형 대화 응답 생성을 가능하게 하는 목표 추적 메모리 네트워크(GTMN)를 통합한 시퀀스 투 시퀀스 모델을 제안한다. 메타워드를 명시적인 생성 목표로 모델링함으로써, 두 개의 대규모 데이터셋에서 최신 기술 대비 응답의 관련성, 다양성 및 메타워드 충실도를 크게 향상시킨다.

ABSTRACT

We present open domain response generation with meta-words. A meta-word is a structured record that describes various attributes of a response, and thus allows us to explicitly model the one-to-many relationship within open domain dialogues and perform response generation in an explainable and controllable manner. To incorporate meta-words into generation, we enhance the sequence-to-sequence architecture with a goal tracking memory network that formalizes meta-word expression as a goal and manages the generation process to achieve the goal with a state memory panel and a state controller. Experimental results on two large-scale datasets indicate that our model can significantly outperform several state-of-the-art generation models in terms of response relevance, response diversity, accuracy of one-to-many modeling, accuracy of meta-word expression, and human evaluation.

연구 동기 및 목표

• 표준 시퀀스 투 시퀀스 모델에서 발생하는 다대일 관계로 인한 반복적이고 일반적인 응답 문제를 해결하기 위해.
• 대화 동작, 길이, 복사 비율, 문장 수, 구체성과 같은 응답 속성에 대한 명시적 제어를 가능하게 하기 위해 메타워드를 구조적으로 정의하기 위해.
• 해석 가능한 메타워드 속성을 통해 응답 생성 목표를 투명하게 만들어 모델의 설명 가능성을 향상시키기 위해.
• 시퀀스 투 시퀀스 프레임워크 내에서 메타워드를 명시적인 생성 목표로 통합함으로써 응답 품질과 다양성을 향상시키기 위해.
• 다양한 대화 제어 작업을 위한 메타워드 기반 기능 공학을 지원하는 확장 가능하고 일반화 가능한 프레임워크 개발하기 위해.

제안 방법

• 응답 속성의 구조적 기록으로서 메타워드를 도입하며, 각 메타워드는 (키, 유형, 값) 형식으로 정의되며, 유형은 실수형(r) 또는 범주형(c)이다.
• 표준 시퀀스 투 시퀀스 아키텍처에 메타워드 표현을 생성 목표로 간주하는 목표 추적 메모리 네트워크(GTMN)를 통합한다.
• 각 메타워드 변수의 현재 표현 상태를 추적하는 상태 메모리 패널과 목표 달성 향한 디코딩을 이끄는 상태 컨트롤러를 설계한다.
• 디코딩 중 메모리 셀 값과 목표 값 간의 거리를 최소화하기 위한 새로운 상태 업데이트 손실을 도입한다.
• 메타워드 목표에서의 이탈을 방지하기 위해 목표 충실도를 보장하는 새로운 손실 구성 요소를 도입하여 모델을 엔드 투 엔드로 훈련시킨다.
• 주의 메커니즘과 메모리 상태 업데이트를 통해 응답 관련성과 메타워드 정확도의 공동 최적화를 지원한다.

실험 결과

연구 질문

• RQ1 메타워드가 응답 속성을 명시적으로 인코딩하여 개방형 대화에서의 다대일 관계를 효과적으로 모델링할 수 있는가?
• RQ2 메타워드 목표를 디코딩 중 추적함으로써 목표 추적 메모리 네트워크가 제어 가능하고 설명 가능한 응답 생성을 가능하게 하는가?
• RQ3 잠재 변수를 사용하는 모델 대비 메타워드를 명시적인 생성 목표로 통합함으로써 응답의 관련성, 다양성 및 정확도가 향상되는가?
• RQ4 다양한 메타워드 속성(예: 대화 동작, 길이, 복사 비율)이 모델 성능과 응답 품질에 어떤 기여를 하는가?
• RQ5 제안된 프레임워크가 성격, 감정, 구체성 모델링과 같은 다양한 응답 제어 작업에 일반화 가능한가?

주요 결과

• GTMN-ES2S 모델은 트위터 데이터셋에서 33.2%의 응답 관련성 점수를 기록했으며, Reddit에서는 19.2%를 기록하여 MMI-bidi 및 kg-CVAE와 같은 베이스라인을 크게 앞서갔다.
• 모든 다섯 가지 메타워드 속성을 사용할 경우 트위터 데이터셋에서 퍼플렉서티가 약 50% 감소(70.19에서 38.57로)하여 강력한 모델 적합도를 보였다.
• 인간 평가 결과 트위터 테스트 세트에서 평균 1.04점의 점수를 기록하여 모든 베이스라인을 초월했으며, 모델 간 인간 일致도가 가장 높았고 카파 계수는 0.71를 기록했다.
• 절단 실험 결과 더 많은 메타워드 속성을 추가할수록 성능 향상이 일관되게 관찰되었으며, 특히 복사 비율과 구체성 속성을 포함했을 때 가장 큰 성능 향상이 나타났다.
• 목표 추적 메커니즘의 시각화 결과 GTMN이 메모리 셀 값과 목표 값 간의 거리를 효과적으로 줄여 정확한 메타워드 표현을 보장함을 확인했다.
• 상태 업데이트 손실을 포함한 모델(GTMNES2S)은 메타워드 속성에 대해 안정적인 제어를 유지하는 반면, 상태 업데이트 손실이 없는 변형(GTMNES2S w/o SU)은 특히 복사 비율 추적에서 제어되지 않은 행동을 보였다.