[논문 리뷰] Fine Grained Knowledge Transfer for Personalized Task-oriented Dialogue Systems

Kaixiang Mo, Yu Zhang외 2명|arXiv (Cornell University)|2017. 11. 11.

Topic Modeling참고 문헌 18인용 수 14

한 줄 요약

이 논문은 작업 지향 대화 시스템에서 사용자 간 미세 조절 가능한 문장 수준의 지식 전이를 가능하게 하면서도 개인의 선호도를 유지하는 새로운 개인 맞춤 제어 게이트를 갖춘 개인 맞춤 디코더를 제안한다. 공유되는 표현과 개인적인 표현을 분리함으로써, 문장 수준의 전이 기반 모델 대비 BLEU 점수를 최대 7.5% 향상시켰으며, 개인화된 대화 생성에서의 악성 전이를 효과적으로 완화한다.

ABSTRACT

Training a personalized dialogue system requires a lot of data, and the data collected for a single user is usually insufficient. One common practice for this problem is to share training dialogues between different users and train multiple sequence-to-sequence dialogue models together with transfer learning. However, current sequence-to-sequence transfer learning models operate on the entire sentence, which might cause negative transfer if different personal information from different users is mixed up. We propose a personalized decoder model to transfer finer granularity phrase-level knowledge between different users while keeping personal preferences of each user intact. A novel personal control gate is introduced, enabling the personalized decoder to switch between generating personalized phrases and shared phrases. The proposed personalized decoder model can be easily combined with various deep models and can be trained with reinforcement learning. Real-world experimental results demonstrate that the phrase-level personalized decoder improves the BLEU over multiple sentence-level transfer baseline models by as much as 7.5%.

연구 동기 및 목표

• 사용자당 부족한 개인 맞춤 대화 데이터 문제를 해결하기 위해 사용자 간 효과적인 지식 전이를 가능하게 한다.
• 기존 문장 수준의 전이 학습 모델에서 충돌하는 선호도를 가진 사용자 간에 개인 정보가 혼합되는 악성 전이 문제를 해결한다.
• 사용자 고유의 선호도를 유지하면서도 문장 수준의 지식 공유를 지원하는 유연하고 모듈러한 디코더를 개발한다.
• seq2seq 및 HRED와 같은 다양한 순차에서 순차 모델과의 통합을 가능하게 하여 광범위한 적용 가능성을 확보한다.
• 실제 실험과 사례 연구를 통해 미세 조절된 전이의 효과를 입증한다.

제안 방법

• 공유 표현(공통 지식에서 유래)과 개인 표현(사용자 고유) 간에 동적으로 전환할 수 있는 개인 맞춤 디코더와 개인 맞춤 제어 게이트를 도입한다.
• 제어 게이트는 어텐션 메커니즘을 사용하여 단어 또는 표현이 공유 지식원에서인지 개인 지식원에서 생성되어야 할지를 결정한다.
• 대화 정책과 응답 생성을 동시에 최적화할 수 있도록 강화 학습을 통해 엔드 투 엔드로 모델을 훈련시킨다.
• 지식 전이는 문장 수준에서 이루어지며, 공유 표현은 사용자 간 전이되지만, 개인 표현은 사용자 고유이며 공유되지 않는다.
• 모듈러한 아키텍처로 기존의 seq2seq 및 HRED 모델과의 통합이 가능하며, 아키텍처의 대대적인 수정 없이도 적용 가능하다.
• 프레임워크는 순차에서 순차 및 계층적 RNN(HRED) 모델을 모두 지원하여 광범위한 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 문장 수준의 전이 대비 문장 수준의 지식 전이가 개인 맞춤 대화 시스템에서 악성 전이를 줄이는 데 효과적인가?
• RQ2 제안된 개인 맞춤 제어 게이트가 응답 생성 과정에서 공유 표현과 개인 표현을 얼마나 정확히 구분하는가?
• RQ3 개인 맞춤 디코더는 다양한 사용자 선호도 상황에서 응답 품질을 얼마나 향상시키는가?
• RQ4 seq2seq 및 HRED와 같은 다양한 기본 아키텍처와 효과적으로 통합될 수 있는가?
• RQ5 미세 조절된 전이가 BLEU와 같은 자동 평가 지표에서 측정 가능한 성과 향상으로 이어지는가?

주요 결과

• 실제 커피 주문 데이터셋에서 제안된 문장 수준의 전이 모델인 PT-HRED는 문장 수준 전이 기반 모델인 ST-HRED 대비 BLEU 점수를 7.5% 향상시켰다.
• 모든 평가 지표에서, 특히 BLEU 및 성공률 측면에서, PT-HRED는 ST-S2S, ST-E-S2S, ST-HRED와 같은 모든 문장 수준 전이 모델을 능가했다.
• 사례 연구 결과, PT-HRED는 사용자 고유의 선호도(예: '마키아또'를 '라떼'로 잘못 전이하지 않고 정확히 유지)를 올바르게 보존하는 것으로 나타났다. 반면 ST-HRED는 다른 사용자로부터 개인 선호도를 잘못 전이했다.
• 다섯 개의 랜덤 시드에 걸쳐 더 높은 BLEU 점수와 낮은 분산을 기록하여, 훈련의 안정성이 향상됨을 입증했다.
• 개인 맞춤 제어 게이트는 공유 표현과 개인 표현을 성공적으로 분리하여, 개인 정보의 유해한 전이를 방지했다.
• seq2seq 및 HRED를 포함한 다양한 기본 모델에 대해 강력한 일반화 성능을 보이며, 모듈성과 광범위한 적용 가능성의 가능성을 확인했다.