[논문 리뷰] Learning Matching Models with Weak Supervision for Response Selection in Retrieval-based Chatbots

Yu Wu, Wei Wu외 2명|arXiv (Cornell University)|2018. 05. 07.

Topic Modeling참고 문헌 19인용 수 6

한 줄 요약

이 논문은 레이블이 없는 응답 후보에 대해 사전에 훈련된 순서열-순서열(Sequence-to-Sequence, Seq2Seq) 모델을 약한 레이블러로 사용하여 소프트 매칭 점수를 생성함으로써, 검색 기반 챗봇의 응답 선택 모델 훈련을 향상시키는 약한 지도 학습 방법을 제안한다. 이 방법은 실제 어려운 음성 예제와 소프트 지도 학습을 활용하여 공개 벤치마크에서 성능을 크게 향상시키며, 표준 랜덤 음성 예제 샘플링 기반의 베이스라인을 능가한다.

ABSTRACT

We propose a method that can leverage unlabeled data to learn a matching model for response selection in retrieval-based chatbots. The method employs a sequence-to-sequence architecture (Seq2Seq) model as a weak annotator to judge the matching degree of unlabeled pairs, and then performs learning with both the weak signals and the unlabeled data. Experimental results on two public data sets indicate that matching models get significant improvements when they are learned with the proposed method.

연구 동기 및 목표

• 응답 선택에서 랜덤 음성 예제 샘플링의 한계를 해결하기 위해, 노이즈가 섞인 잘못된 음성 예제와 결정 경계 왜곡을 방지한다.
• 레이블이 부족한 상황에서 색인에서 검색된 레이블이 없는 응답 후보를 활용하여 매칭 모델 학습을 향상시킨다.
• 실제 검색 시나리오를 모의하기 위해 의미적으로 다양한 어려운 음성 예제를 통합함으로써 훈련 중에 실제 세계의 검색 환경을 시뮬레이션한다.
• 사전에 훈련된 Seq2Seq 모델이 생성한 소프트 매칭 점수를 약한 지도 학습으로 활용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 약한 지도 학습을 통해 사전에 훈련된 Seq2Seq 모델이 응답 선택 성능에 통계적으로 유의미한 향상을 이끌어내는지 입증한다.

제안 방법

• 레이블이 없는 입력-응답 쌍에 대해 소프트 매칭 점수를 할당하기 위해, 약한 레이블러로 기능하는 사전에 훈련된 Seq2Seq 모델을 사용한다.
• 레이블이 없는 데이터는 사전에 구축된 색인에서 응답 후보를 검색하여 구성되며, 실제 검색 시나리오를 시뮬레이션한다.
• Seq2Seq 모델이 생성한 약한 지도 신호(소프트 점수)를 사용하여 교차 엔트로피 목적 함수를 통해 매칭 모델을 훈련하며, 하드 0-1 레이블을 대체한다.
• 이 방법은 교사-학생 프레임워크를 기반으로 하며, Seq2Seq 모델이 인간 대화에서의 지식을 매칭 모델로 전달한다.
• 훈련 데이터에는 인간의 응답(진짜 양성 예제)과 다양한 음성 예제(검색을 통해 확보된 후보들)가 포함되며, 이 중에는 어려운 음성 예제도 포함된다.
• 이 방법은 LSTM, CNN, BiLSTM, SMN 등의 신경 매칭 모델 아키텍처와 호환된다.

실험 결과

연구 질문

• RQ1 레이블이 제한된 상황에서 사전에 훈련된 Seq2Seq 모델의 약한 지도 학습이 응답 선택 성능 향상에 기여하는가?
• RQ2 하드 이진 레이블 대신 소프트 매칭 점수를 사용할 경우, 응답 선택 모델의 결정 경계가 더 나아지는가?
• RQ3 검색을 통해 확보한 레이블이 없는 응답 후보(어려운 음성 예제 포함)를 사용해 훈련하면 모델의 강건성과 일반화 능력이 향상되는가?
• RQ4 성능 향상의 원인이 약한 지도 신호인지, 데이터 구성 전략인지, 또는 둘 다인가?
• RQ5 검색된 응답 후보의 수가 매칭 모델 학습에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다양한 매칭 모델에서 응답 선택 성능을 크게 향상시키며, STC 데이터셋에서 P@1이 최대 4.5% 향상되었고, Douban 데이터셋에서는 3.9% 향상되었다.
• 약한 지도 학습을 통해 미세조정된 SMN 모델(SMN+WS)은 Douban에서 P@1이 0.421을 기록하여 기준 모델 SMN 대비 3.9% 상대적 향상률을 보였다.
• 모든 지표에서 랜덤 음성 예제 샘플링 기반의 베이스라인을 능가했으며, 두 데이터셋 모두에서 통계적으로 유의미한 향상(p < 0.01)을 보였다.
• 제거 실험 결과, 약한 지도 신호와 실제적인 훈련 데이터 구성(어려운 음성 예제 포함)이 성능 향상에 필수적임을 확인했다.
• 응답 후보 수를 2개에서 20개로 늘일수록 일관된 성능 향상이 있었으며, STC에서 LSTM의 P@1은 0.603에서 0.616으로 상승했다.
• Seq2Seq 약한 레이블러를 반복적으로 재훈련해도 매칭 모델 성능 향상이 없었으며, 이는 현재의 약한 신호가 이미 효과적이며 강화 학습으로 쉽게 향상되지 않는다는 것을 시사한다.