[논문 리뷰] Modeling Intent, Dialog Policies and Response Adaptation for Goal-Oriented Interactions

Saurav Sahay, Shachi H Kumar외 3명|arXiv (Cornell University)|2019. 12. 20.

Speech and dialogue systems인용 수 6

한 줄 요약

이 논문은 BERT 임bedding과 다중헤드 어텐션 기반 기법을 활용하여 의도 인식과 대화 정책 학습을 향상시키는 데이터 기반, 목표 지향적 어린이 대화 시스템을 제안한다. 제한된 레이블링 데이터를 사용함에도 불구하고 베이스라인 대비 뛰어난 성능을 기록하며, 75%의 훈련 데이터와 사용자 및 시스템 메모리 융합을 위한 双중 어텐션 기반 기법에서 최적의 성능을 달성한다.

ABSTRACT

Building a machine learning driven spoken dialog system for goal-oriented interactions involves careful design of intents and data collection along with development of intent recognition models and dialog policy learning algorithms. The models should be robust enough to handle various user distractions during the interaction flow and should steer the user back into an engaging interaction for successful completion of the interaction. In this work, we have designed a goal-oriented interaction system where children can engage with agents for a series of interactions involving `Meet \\& Greet' and `Simon Says' game play. We have explored various feature extractors and models for improved intent recognition and looked at leveraging previous user and system interactions in novel ways with attention models. We have also looked at dialog adaptation methods for entrained response selection. Our bootstrapped models from limited training data perform better than many baseline approaches we have looked at for intent recognition and dialog action prediction.

연구 동기 및 목표

• 5–7세 어린이가 '만남 및 인사'와 '시몬이 말하라' 상호작용에 참여할 때 사용할 수 있는 견고하고 목표 지향적인 대화 시스템을 개발한다.
• 아마존 메카니컬 터크를 통해 수집한 제한된 레이블링 데이터를 기반으로 의도 인식 및 대화 정책 학습을 향상시킨다.
• 사용자 및 시스템 상호작용 이력을 모델링하는 어텐션 기반 기법을 통해 대화 관리 성능을 향상시킨다.
• 언어적 및 문법적 특징을 기반으로 학습된 분류기를 활용해 맥락에 적합한 응답 템플릿 선택을 가능하게 한다.
• 음성, 시각, 제스처 등의 다중모달 신호를 대화 파이프라인에 통합하여 더 rich한 상호작용 모델링을 실현한다.

제안 방법

• 의도 분류 향상을 위해 Rasa NLU 프레임워크를 확장하여 BERT 임베딩과 추가 특징(어휘적, 문법적, 언어행동 유형)을 통합한다.
• RNN 기반 어텐션을 활용해 사용자 이력, 시스템 동작, 사용자-시스템 표현을 융합하는 다중메모리 어텐션 기반 기법을 설계한다.
• 사용자 및 시스템 메모리 표현을 융합하기 위해 텐서 융합 레이어를 제안한다.
• 243개의 특징(어근, 품사 태그, 문법적 겹침, 감성 극성 등)을 포함한 이진 분류 과제로 대화 적응을 공식화한다.
• 32,400개의 인스턴스(2,753개의 양성, 29,647개의 음성)를 훈련하여 맥락에 적합한 응답 템플릿을 선택하는 의사결정트리 분류기를 학습한다.
• AMT를 통해 수집한 80개의 대화로 구성된 커스터마이징된 데이터셋에서 모델 성능을 평가하며, 동작 예측의 F1 스코어와 응답 적응의 교차검증 성능을 측정한다.

실험 결과

연구 질문

• RQ1 사전 학습된 언어 표현인 BERT는 자원이 제한된 어린이 중심 대화 시스템에서 의도 인식 성능을 어떻게 향상시킬 수 있는가?
• RQ2 어떤 어텐션 기반 메모리 기법이 효과적인 대화 정책 학습을 위해 사용자 및 시스템 상호작용 이력을 가장 잘 포괄하는가?
• RQ3 언어적 및 문법적 특징을 활용한 지도 학습 분류 과제로 응답 적응을 효과적으로 모델링할 수 있는가?
• RQ4 훈련 데이터 크기가 목표 지향적 대화 시스템의 의도 및 동작 예측 모델 성능에 어떤 영향을 미치는가?
• RQ5 다중모달 메모리 융합은 대화 상태 추적 및 정책 최적화에 어떤 영향을 미치는가?

주요 결과

• 기존 특징 집합과 유니버설 문장 인코더 대비 BERT 임베딩의 사용이 의도 인식 성능 향상에 뚜렷한 기여를 하였다.
• 75%의 훈련 데이터에서 최고의 대화 정책 성능을 기록하였으며, 데이터 증가에 따라 명확한 성능 향상 경향을 보였다.
• 사용자 및 시스템 메모리에 대해 별도로 어텐션을 적용하는 이중 어텐션 기법이 동작 예측의 최고 F1 스코어를 달성하였다.
• 대화 적응 분류기는 높은 교차검증 성능을 기록하였으며, 어근, 품사 태그, 문법적 구조의 특징 겹침이 응답 선택에 효과적이었다.
• 제안된 어텐션 기반 메모리 융합 모델은 '만남 및 인사'와 '시몬이 말하라' 데이터셋과 표준 벤치마크 도메인 모두에서 베이스라인 REDP 정책을 능가하는 성능을 보였다.
• 제한된 데이터로는 높은 예측 변동성이 있었지만, 더 큰 훈련 세트를 사용할수록 일관된 성능 향상을 보이며 확장 가능성 잠재력을 보였다.