[논문 리뷰] Training Neural Response Selection for Task-Oriented Dialogue Systems

Matthew Henderson, Ivan Vulić외 8명|arXiv (Cornell University)|2019. 06. 04.

Topic Modeling참고 문헌 70인용 수 55

한 줄 요약

two-step 학습 체계가 대규모 Reddit 데이터에서 신경 응답 선택 모델을 사전 학습한 후, 여섯 개의 목표 작업 지향 대화 도메인에 대해 미세 조정함으로써 데이터가 적은 설정에서도 효과적으로 적응할 수 있게 한다.

ABSTRACT

Despite their popularity in the chatbot literature, retrieval-based models have had modest impact on task-oriented dialogue systems, with the main obstacle to their application being the low-data regime of most task-oriented dialogue tasks. Inspired by the recent success of pretraining in language modelling, we propose an effective method for deploying response selection in task-oriented dialogue. To train response selection models for task-oriented dialogue tasks, we propose a novel method which: 1) pretrains the response selection model on large general-domain conversational corpora; and then 2) fine-tunes the pretrained model for the target dialogue domain, relying only on the small in-domain dataset to capture the nuances of the given dialogue domain. Our evaluation on six diverse application domains, ranging from e-commerce to banking, demonstrates the effectiveness of the proposed training method.

연구 동기 및 목표

• 작업 지향 대화를 위한 작업별 온톨로지와 정책 구축의 효과적인 대안으로 응답 선택의 필요성을 고찰한다.
• 타깃 도메인에서 데이터 부족 문제를 극복하기 위한 경량화된 two-step 학습 절차를 개발한다.
• 사전학습된 응답 선택을 다양한 도메인에서 평가하여 이식성 및 적응 이점을 파악한다.
• 사전 학습 후 성능을 극대화하는 인코더 아키텍처와 미세 조정 전략을 식별한다.

제안 방법

• 대규모 일반 도메인 Reddit 데이터셋에서 transformer와 같은 입력-응답 인코더 및 스케일된 코사인 유사도 점수를 갖는 응답 선택 인코더를 사전 학습한다.
• 입력과 응답을 unigram/bigram 특성에서 파생된 320차원 임베딩으로 표현하고, self-attention 및 투사 계층을 거친 후 512차원 최종 표현으로 이어진다.
• 실제 입력-응답 쌍을 배치 내 음수와 대조하는 배치 기반 최대-마진 목표로 학습하여 효율적인 검색 및 근사 NN 탐색 가능성을 제공한다.
• ft-direct(도메인 내 데이터에 한해 학습을 계속 수행)와 ft-mixed(도메인 내 데이터와 Reddit 데이터를 배치 내 혼합하여 일반 도메인 지식을 유지) 두 가지 전략을 사용해 여섯 개의 도메인 데이터를 가지고 사전 학습된 모델을 미세 조정한다.
• 타깃 전용 학습, 전통적인 IR 방법(tf-idf, BM25), 및 off-the-shelf pretrained encoders(use, elmo, bert variants)를 포함한 벤치마크와 비교하여 두 단계 접근의 가치를 평가한다.

실험 결과

연구 질문

• RQ1 Q1: 어떤 인코더 아키텍처와 사전학습 설정이 Reddit 데이터를 응답 선택에 가장 잘 모델링합니까?
• RQ2 Q2: 사전 학습된 일반 도메인 응답 선택 모델을 어떻게 하여 다양한 타깃 대화 도메인에 효율적으로 적응시킬 수 있을까?
• RQ3 Q3: 경량화된 미세 조정 전략(ft-direct 대 ft-mixed)이 사전 학습된 모델의 직접 적용 및 타깃 전용 학습을 능가합니까?
• RQ4 Q4: 사전 학습+미세 조정 접근법이 여러 도메인에서 강력한 벡터 기반 기준선 및 표준 IR 기준선과 어떻게 비교됩니까?

주요 결과

• 대규모 Reddit 말뭉치에서의 사전 학습은 여러 기준선에 비해 우수한 입력-응답 인코딩을 산출하며, transformer 유사 아키텍처와 self-attention이 이득을 제공한다.
• 도메인 내 데이터로의 미세 조정은 여섯 개의 타깃 도메인 전반에서 성능을 크게 향상시키며, 특히 데이터가 부족할 때 더 큰 이점을 보인다.
• 두 가지 미세 조정 전략(ft-direct와 ft-mixed)은 Reddit의 직접 적용 및 타깃 전용 학습보다 우수하며, ft-direct는 도메인 데이터가 충분할 때 강한 이점을 제공하고, ft-mixed는 일반 도메인 능력을 보존하는 데 도움이 된다.
• 두 단계 접근은 전통적 IR 벤치마크(tf-idf, BM25)와 off-the-shelf 문장 인코더를 지속적으로 능가하며, 응답 선택에서 작업별 적응의 중요성을 강조한다.
• ft-mixed는 Reddit 성능을 유지하면서 도메인 내 작업에 적응하므로 도메인 데이터 증가에 따라 일반 도메인 Reddit 테스트 데이터의 저하를 줄인다.