[논문 리뷰] Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots

Jia-Chen Gu, Tianda Li외 5명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 36인용 수 17

한 줄 요약

이 논문은 다중 전환 대화에서의 검색 기반 챗봇에서 응답 선택 성능을 향상시키기 위해 발화자 임베딩과 발화자 인식 디센트레인먼트 전략을 통합한 새로운 모델인 Speaker-Aware BERT(SA-BERT)를 제안한다. 이는 발화자 전환을 이해하고, 뒤섞인 대화에서 노이즈를 줄이는 데 기여한다. SA-BERT는 다섯 개의 데이터셋에서 최신 기준 성능을 달성하며, DSTC8에서 R@100@1 기준 최대 15.5% 향상을 보이며, 발화자 인식 모델링과 도메인 적응의 효과를 입증한다.

ABSTRACT

In this paper, we study the problem of employing pre-trained language models for multi-turn response selection in retrieval-based chatbots. A new model, named Speaker-Aware BERT (SA-BERT), is proposed in order to make the model aware of the speaker change information, which is an important and intrinsic property of multi-turn dialogues. Furthermore, a speaker-aware disentanglement strategy is proposed to tackle the entangled dialogues. This strategy selects a small number of most important utterances as the filtered context according to the speakers' information in them. Finally, domain adaptation is performed to incorporate the in-domain knowledge into pre-trained language models. Experiments on five public datasets show that our proposed model outperforms the present models on all metrics by large margins and achieves new state-of-the-art performances for multi-turn response selection.

연구 동기 및 목표

• 다중 전환 대화 중 발화자 역할 변화를 포괄하지 못하는 기존 사전 훈련 모델의 한계를 해결하기 위해.
• 발화자 인식 디센트레인먼트를 통해 뒤섞인 다중 주제 대화에서 불필요한 발화를 제거하여 노이즈를 줄이기 위해.
• 도메인 특화 지식을 타겟된 도메인 적응을 통해 통합함으로써 다중 전환 응답 선택 성능을 향상시키기 위해.
• 다양한 도메인에서 검색 기반 다중 전환 응답 선택에 대한 새로운 최신 기준 벤치마크를 수립하기 위해.

제안 방법

• 모델이 발화자 신원을 발화 간 전반에 걸쳐 추적할 수 있도록 토큰 표현을 향상시키기 위해 발화자 임베딩을 도입한다.
• 입력 시퀀스에서 서로 다른 발화자로부터 온 발화를 명확히 구분하기 위해 특수 세그먼테이션 토큰을 사용한다.
• 발화자 분포를 기반으로 가장 중요한 발화만 유지하는 히우리스틱 발화자 인식 디센트레인먼트 전략을 적용한다.
• 사용자 정의 도메인 코퍼스를 사용하여 사전 훈련된 BERT 모델에 작업에 특화된 언어 지식을 통합함으로써 도메인 적응을 수행한다.
• 응답 관련성을 최적화하기 위해 대조 학습 목표를 사용하여 다중 전환 응답 선택에 대해 미세 조정한다.
• 자기 어텐션 메커니즘을 사용하여 컨텍스트와 응답을 인코딩하고 매칭하는 표현-상호작용-집계 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 발화자 신원 정보를 통합할 경우 다중 전환 대화에서 응답 선택 성능가 어떻게 향상되는가?
• RQ2 발화자 인식 디센트레인먼트는 긴 대화에서 관련 없거나 주제가 혼합된 발화에서 노이즈를 어느 정도 줄이는가?
• RQ3 도메인 적응은 사전 훈련 모델의 작업 특화 응답 선택 성능 향상에 얼마나 효과적인가?
• RQ4 더 유사한 적응 코퍼스를 사용할 경우 응답 선택 작업에서 성능 향상이 이루어지는가?
• RQ5 다양한 도메인에서 표준 BERT 기반 접근 방식에 비해 발화자 인식 모델링이 다중 전환 응답 선택에서 슈퍼리어 성능을 낼 수 있는가?

주요 결과

• Ubuntu Dialogue Corpus V1에서 기존 최신 기준 모델 대비 R@10@1에서 5.5%p의 절대적 향상을 기록한다.
• Ubuntu Dialogue Corpus V2에서는 R@10@1에서 5.9% 향상되어 시스템 고장 진단 도메인에서 일관된 성능 향상을 입증한다.
• Douban Conversation Corpus에서는 MAP에서 3.2% 향상되고 MRR에서 2.7% 향상되어 순위 매기기 품질 향상을 나타낸다.
• E-commerce Dialogue Corpus에서는 R@10@1에서 8.3% 향상되어 상업적 대화에 대한 뛰어난 일반화 능력을 보여준다.
• DSTC 8-Track 2-Subtask 2에서는 R@100@1에서 15.5% 향상되어 긴 복잡한 대화에서의 효과성을 입증한다.
• 동일 도메인 코퍼스(예: Ubuntu V2를 미세 조정에 사용)를 사용한 도메인 적응이 가장 높은 성능을 낸다. 이는 도메인 내 지식 주입의 가치를 확인한다.