[논문 리뷰] Fine-Grained Sentence Functions for Short-Text Conversation

Wei Bi, Jun Gao외 2명|arXiv (Cornell University)|2019. 07. 24.

Topic Modeling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 문장 기능 레이블(두 수준에서 20종류)을 포함한 대규모 단문 대화 데이터셋인 STC-Sefun을 소개한다. 이는 대화 시스템에서 응답 생성 향상에 기여한다. 문장 기능을 예측하는 분류기들을 훈련하고 이를 검색 및 생성 모델에 통합함으로써, 응답의 관련성, 정보성, 유창성에서 뚜렷한 향상을 입증하였다. 재정렬된 IR 모델은 주요 지표에서 베이스라인과 생성 모델을 모두 압도하였다.

ABSTRACT

Sentence function is an important linguistic feature referring to a user's purpose in uttering a specific sentence. The use of sentence function has shown promising results to improve the performance of conversation models. However, there is no large conversation dataset annotated with sentence functions. In this work, we collect a new Short-Text Conversation dataset with manually annotated SEntence FUNctions (STC-Sefun). Classification models are trained on this dataset to (i) recognize the sentence function of new data in a large corpus of short-text conversations; (ii) estimate a proper sentence function of the response given a test query. We later train conversation models conditioned on the sentence functions, including information retrieval-based and neural generative models. Experimental results demonstrate that the use of sentence functions can help improve the quality of the returned responses.

연구 동기 및 목표

• 문장 기능 레이블이 있는 대규모 단문 대화 데이터셋의 부족을 해결하기 위해.
• 질의 문장의 문장 기능을 식별하고, 주어진 질의에 적절한 응답 문장 기능을 예측할 수 있는 신뢰할 수 있는 문장 기능 분류 모델을 개발하기 위해.
• 문장 기능을 통합할 경우 검색 기반 및 신경망 생성 대화 모델에서 응답 품질이 어떻게 향상되는지 조사하기 위해.
• 다양한 대화 시스템 아키텍처에서 문장 기능 모델링이 응답의 관련성, 정보성, 유창성, 정확성에 미치는 영향을 평가하기 위해.

제안 방법

• 단문 대화에서 10,000개의 질의-응답 쌍을 수작업으로 주석 처리하여 두 수준의 문장 기능 레이블을 부여함: 4개의 굵은 수준(질의형, 서술형, 명령형, 감탄형)과 20개의 세밀한 하위유형(예: Wh형 질의, 예/아니요형 질의).
• 두 개의 별도된 문장 기능 분류 모델을 훈련: 하나는 레이블이 없는 데이터에서 문장 기능을 분류하고, 다른 하나는 질의 문장에 대해 응답의 목표 문장 기능을 예측함.
• 훈련된 분류기를 사용하여 대규모 자동 주석 처리 코퍼스를 구축하여, 대화 모델의 훈련 및 평가를 대규모로 수행할 수 있도록 함.
• 검색 기반 모델을 향상시키기 위해, 재정렬된 후보 응답을 Jaccard 유사도와 예측된 목표 문장 기능의 호환성 점수를 조합한 하이브리드 점수를 사용하여 재정렬함.
• 시퀀스-투-시퀀스 및 CVAE 기반 생성 모델을 확장하여 문장 기능 임베딩을 조건으로 삼고, SeFun-CVAE에서는 문장 기능 정보를 더 잘 분리하기 위해 유형 식별기(타입 디스크림리네이터)를 도입함.
• 표준 지표를 사용해 모델을 평가함: 유창성, 관련성, 정보성, 예측된 문장 기능의 정확성.

실험 결과

연구 질문

• RQ1 세밀한 문장 기능 주석 처리가 단문 대화 시스템의 응답 품질 향상에 기여하는가?
• RQ2 대규모 단문 대화 코퍼스에서 입력 질의 및 잠재적 응답에 대해 문장 기능을 얼마나 정확하게 예측할 수 있는가?
• RQ3 검색 기반 및 생성 기반 대화 모델을 예측된 문장 기능으로 조건화할 경우, 응답의 관련성과 정보성은 어느 정도 향상되는가?
• RQ4 응답 품질과 정확성 측면에서, 검색 기반 모델과 생성 기반 모델 중 어느 것이 문장 기능 정보 통합에서 더 큰 이점을 얻는가?

주요 결과

• 재정렬된 IR 모델은 69.6%의 유창성, 74.4%의 관련성, 77.2%의 정보성, 50.5%의 목표 문장 기능 예측 정확도를 기록하여, IR 기준 모델(63.4%, 68.4%, 61.5%, 34.3%)을 뚜렷이 앞서며 유의미한 성능 향상을 보였다.
• 생성 모델의 경우, C-Seq2seq가 가장 높은 종합 성능을 보였으며, 관련성 58.9%와 수준-2 문장 기능 예측 정확도 37.2%를 기록하여 Seq2seq 기준 모델 및 다른 변형보다 뛰어났다.
• 유형 식별기를 포함한 SeFun-CVAE 모델은 기준 모델인 KgCVAE(33.7%)보다 높은 문장 기능 정확도(36.7%)를 달성하여, 잠재 공간에서 문장 기능 정보를 명시적으로 분리하는 것이 효과적임을 입증하였다.
• 유창성 및 관련성 점수는 낮았지만, 최고의 생성 모델들(SeFun-CVAE 및 C-Seq2seq)은 IR 기준 모델보다 문장 기능 예측 정확도에서 뛰어나, 문장 기능 조건화가 응답 유형 제어에 유리함을 시사하였다.
• 재정렬된 IR 모델은 모든 지표에서 모든 생성 모델을 일관되게 앞서며, 단문 대화에서 문장 기능 통합이 검색 기반 프레임워크에 더 효과적임을 시사하였다.
• 사례 연구 결과, 재정렬된 IR 모델은 문장 어휘의 일치가 낮더라도 더 일관되고 기능적으로 적절한 응답을 생성함을 확인하였으며, 이는 목표 문장 기능과의 더 나은 일치 덕분이었다.