[논문 리뷰] Word Embedding based Correlation Model for Question/Answer Matching

Yikang Shen, Wenge Rong외 4명|arXiv (Cornell University)|2015. 11. 15.

Expert finding and Q&A systems인용 수 13

한 줄 요약

이 논문은 커뮤니티 질문-답변(CQA) 시스템에서 질문-답변 매칭을 향상시키기 위해 번역 모델링과 조밀한 단어 임베딩을 결합한 단어 임베딩 기반 상관관계(WEC) 모델을 제안한다. Q&A 쌍에서 학습된 저차원의 조밀한 번역 행렬을 통해 단어 수준의 동시출현 확률을 캡처하고, 연속 벡터 공간의 매끄러움을 활용하여 희귀어 조합으로의 일반화를 달성한다. 이는 Yahoo! Answers 및 Baidu Zhidao 데이터셋에서 최신 기술을 초월하는 성능을 보인다.

ABSTRACT

With the development of community based question answering (Q&A) services, a large scale of Q&A archives have been accumulated and are an important information and knowledge resource on the web. Question and answer matching has been attached much importance to for its ability to reuse knowledge stored in these systems: it can be useful in enhancing user experience with recurrent questions. In this paper, we try to improve the matching accuracy by overcoming the lexical gap between question and answer pairs. A Word Embedding based Correlation (WEC) model is proposed by integrating advantages of both the translation model and word embedding, given a random pair of words, WEC can score their co-occurrence probability in Q&A pairs and it can also leverage the continuity and smoothness of continuous space word representation to deal with new pairs of words that are rare in the training parallel text. An experimental study on Yahoo! Answers dataset and Baidu Zhidao dataset shows this new method's promising potential.

연구 동기 및 목표

• 질문과 답변에서 의미적으로 관련된 단어를 다르게 사용하는 경우 발생하는 어휘 갭 문제를 해결하기 위해.
• 기존 번역 모델의 한계, 즉 차원의 저주와 희귀어에 대한 일반화 능력 부족 문제를 해결하기 위해.
• 단어 임베딩의 연속성과 매끄러움을 활용하여 질문-답변 매칭에서 알려지지 않은 또는 희귀어 조합으로의 일반화 능력을 향상시키기 위해.
• 통계적 번역 모델과 의미적 단어 임베딩의 장점을 융합한 하이브리드 모델을 개발하여 더 나은 매칭 성능을 달성하기 위해.
• 실세계 CQA 데이터셋에서 모델 성능을 평가하고 기존 최신 기술 대비 우월성을 입증하기 위해.

제안 방법

• 학습된 조밀한 번역 행렬 M를 사용하여 질문 단어 q_i와 답변 단어 a_j의 동시출현 확률을 계산하는 단어 수준 상관관계 함수 C(q_i, a_j)를 제안한다.
• 사전에 학습된 단어 임베딩을 사용하여 단어를 연속 벡터 공간에 표현함으로써, 희귀 또는 알려지지 않은 어휘 조합으로의 매끄러운 일반화를 가능하게 한다.
• 단어 수준 상관관계를 집계하여 전체 질문-답변 관련도를 추정하는 문장 수준 상관관계 함수 C(q, a)를 구성한다.
• 다양분수 목적 함수를 사용하여 병렬 Q&A 코퍼스에서 매칭 정확도를 최대화함으로써 번역 행렬 M을 학습한다.
• 질적 및 문법적 특징을 동시에 캡처하기 위해 WEC 모델과 컨volutional 신경망(CNN)을 결합한다.
• 단어 벡터 간의 의미 관계를 모델링하기 위해 상관관계 함수에 코사인 유사도를 비선형 활성화 함수로 활용한다.

실험 결과

연구 질문

• RQ1 조밀하고 저차원의 번역 행렬이 희귀어 조합으로의 동시출현 확률을 효과적으로 모델링할 수 있는가, 기존의 희박한 이산 번역 모델을 대체할 수 있는가?
• RQ2 단어 임베딩의 연속성이 질문-답변 매칭에서 희귀 또는 알려지지 않은 어휘 조합으로의 일반화 능력 향상에 어느 정도 기여하는가?
• RQ3 단어 수준 상관관계와 문장 수준 집계를 결합하면 독립적인 모델 대비 매칭 성능 향상이 이루어지는가?
• RQ4 실세계 CQA 데이터셋인 Yahoo! Answers 및 Baidu Zhidao에서 WEC 모델은 최신 기술 대비 어떤 성능을 보이는가?
• RQ5 WEC와 CNN을 통합하면 문법적 및 국소적 어휘 패턴을 캡처함으로써 매칭 정확도 향상이 추가로 이루어지는가?

주요 결과

• WEC 모델은 Yahoo! Answers 및 Baidu Zhidao 데이터셋에서 모두 기존 최신 기술 모델을 능가하는 성능을 보였다.
• WEC+CNN 변형은 의미적 상관관계와 텍스트의 문법적 특징을 동시에 활용하여 뛰어난 성능을 달성했다.
• 연속적 단어 표현의 매끄러움 덕분에 희귀어 조합에 대한 강력한 일반화 능력을 보였다.
• 학습 데이터에서 정확한 동시출현이 드물더라도, 학습된 번역 행렬 M이 단어 간 의미 관계를 효과적으로 포착했다.
• 단어 임베딩과 번역 모델링의 통합은 기존의 통계적 번역 모델만을 사용하는 것보다 더 견고하고 정밀한 상관관계 추정을 가능하게 했다.
• 이 방법은 소셜 미디어 콘텐츠의 코멘트 선택과 같은 다른 병렬 텍스트 탐지 작업으로도 적용 가능성이 있다.