[논문 리뷰] Learning Semantic Textual Similarity from Conversations

Yinfei Yang, Steve Yuan외 8명|arXiv (Cornell University)|2018. 04. 20.

Topic Modeling참고 문헌 21인용 수 31

한 줄 요약

이 논문은 입력 문장을 기반으로 대화 응답을 예측하도록 모델을 훈련시켜 문장 수준의 의미적 텍스트 유사도를 학습하는 새로운 비지도 방법을 제안한다. Reddit에서 수집한 대화 데이터로 사전 훈련하고, SNLI 자연어 추론 데이터로 미세조정함으로써 STS 벤치마크에서 최신 기술 수준의 성능을 달성하고, SemEval CQA 질문 유사도 작업에서도 경쟁력 있는 결과를 보이며, 응답 예측이 암묵적으로 풍부한 의미 표현을 포착할 수 있음을 입증한다.

ABSTRACT

We present a novel approach to learn representations for sentence-level semantic similarity using conversational data. Our method trains an unsupervised model to predict conversational input-response pairs. The resulting sentence embeddings perform well on the semantic textual similarity (STS) benchmark and SemEval 2017's Community Question Answering (CQA) question similarity subtask. Performance is further improved by introducing multitask training combining the conversational input-response prediction task and a natural language inference task. Extensive experiments show the proposed model achieves the best performance among all neural models on the STS benchmark and is competitive with the state-of-the-art feature engineered and mixed systems in both tasks.

연구 동기 및 목표

• 감독된 STS 애너테이션에 의존하지 않고도 일반적인 문장 임베딩을 학습하여 의미 유사성을 포착하는 방법을 개발하는 것.
• 대화 데이터가 강력한 문장 표현을 학습하기 위한 사전 훈련 목표로 사용될 수 있는지 조사하는 것.
• 이러한 표현이 의미 텍스트 유사성 및 질문 유사성 작업에 대해 제로샷 전이에서 얼마나 효과적인지 평가하는 것.
• 대화 응답 예측과 자연어 추론을 결합한 다중 작업 학습을 통해 성능을 향상시키는 것.

제안 방법

• 모델은 입력 문장과 응답 문장을 고정 길이 벡터로 임bedding하기 위해 공유된 인코더를 사용하며, 후보 응답 중 올바른 응답을 예측하기 위해 내적 점수 계산 기법을 적용한다.
• 응답 임베딩에 전방향 신경망을 적용하여 입력과 응답 간의 의미적 차이를 모델링함으로써 예측 정확도를 향상시킨다.
• 두 가지 인코더 아키텍처를 평가: Deep Averaging Networks (DAN)와 Transformer 모델로, 후자가 실험에서 뛰어난 성능을 보였다.
• 모델은 배치 내 다른 문장들과의 음성 예측을 위해 배치 음성 예측을 사용하는 대비 학습 목표로 Reddit 대화 데이터로 사전 훈련한다.
• 다중 작업 훈련은 대화 응답 예측 작업과 SNLI 데이터셋에서의 감독된 자연어 추론(NLI) 작업을 결합하여 일반화 능력을 향상시킨다.
• 문장 임베딩은 STS 및 CQA 작업에서 코사인 유사도를 통해 평가되며, 추가 상호작용이나 문맥 특징 없이 수행된다.

실험 결과

연구 질문

• RQ1 대화 데이터는 의미 텍스트 유사성에 일반화되는 문장 임베딩을 학습하기 위한 사전 훈련 목표로 사용될 수 있는가?
• RQ2 단지 대화 데이터로만 훈련된 모델과 NLI 데이터로 미세조정된 모델 간의 STS 및 CQA 작업 성능는 어떻게 비교되는가?
• RQ3 비지도 대화 데이터로부터 학습된 표현이 제로샷 의미 유사성 작업으로 얼마나 잘 전이되는가?
• RQ4 대화 데이터와 NLI 데이터를 함께 사용한 다중 작업 학습이 개별 목표만을 사용할 때보다 성능을 향상시키는가?

주요 결과

• Reddit 전용 모델은 STS 벤치마크에서 피어슨 상관계수 0.85를 기록하여 의미 유사성에 대한 강력한 제로샷 성능를 입증한다.
• Reddit+SNLI 다중 작업 모델은 STS 벤치마크에서 신경망 모델 중 최신 기술 수준의 성능를 달성하며, NLI 데이터로만 훈련된 모델를 뛰어넘는다.
• SemEval 2017 CQA 하위 과제 B에서 Reddit+SNLI 모델은 MAP 47.42를 기록하여, 작업 특화 튜닝 없이도 공식 1등 시스템(SimBow-primary, MAP 47.22)을 능가한다.
• STS 성능는 Reddit 훈련 데이터의 40%만 사용해도 안정화되며, 이는 소규모 도메인 특화 데이터로도 도메인 특화 작업에 효율적으로 적응할 수 있음을 시사한다.
• 모든 실험에서 Transformer 인코더가 DAN 및 LSTM 기반 모델보다 뛰어난 성능를 보이며, 이 작업에 적합함을 확인한다.
• 비지도 대화 응답 예측이 의미 유사성을 암묵적으로 포착함을 입증하며, 이는 예측된 응답과 의미적으로 유사한 입력 간 높은 상관계수로 확인된다.