[논문 리뷰] FAQ-based Question Answering via Word Alignment

Zhiguo Wang, Abraham Ittycheriah|arXiv (Cornell University)|2015. 07. 09.

Topic Modeling참고 문헌 15인용 수 38

한 줄 요약

이 논문은 분산 단어 표현과 학습된 단어 정렬을 활용하여 질문 유사도를 계산하는 단어 정렬 기반 신경망 모델을 제안한다. 부트스트래핑 최적화된 희소 특징과 랭킹 학습 학습 방식을 통합함으로써, 다국어 FAQ 매칭 및 답변 문장 선택 작업에서 최신 기술 수준의 성능을 달성한다. 희소 특징으로 인해 상위 1위 정확도가 5% 향상되었으며, TREC에서 이전 시스템에 비해 상당한 성능 향상을 보였다.

ABSTRACT

In this paper, we propose a novel word-alignment-based method to solve the FAQ-based question answering task. First, we employ a neural network model to calculate question similarity, where the word alignment between two questions is used for extracting features. Second, we design a bootstrap-based feature extraction method to extract a small set of effective lexical features. Third, we propose a learning-to-rank algorithm to train parameters more suitable for the ranking tasks. Experimental results, conducted on three languages (English, Spanish and Japanese), demonstrate that the question similarity model is more effective than baseline systems, the sparse features bring 5% improvements on top-1 accuracy, and the learning-to-rank algorithm works significantly better than the traditional method. We further evaluate our method on the answer sentence selection task. Our method outperforms all the previous systems on the standard TREC data set.

연구 동기 및 목표

• 어휘적 변형이 의미를 가리키는 FAQ 기반 질문 응답에서 의미 유사도 문제를 해결하기 위해.
• 세미틱 어휘사전이나 대규모 병렬 질문 세트에 의존하는 이전 방법의 한계를 극복하기 위해.
• 단일 언어 데이터와 단어 정렬만을 사용하여 저자원, 다국어 FAQ QA 시스템을 개발하기 위해.
• 질문 유사도 작업에 특화된 랭킹 학습 알고리즘을 통해 랭킹 성능을 향상시키기 위해.
• 다국어 FAQ 아카이브와 표준 TREC 답변 문장 선택 벤치마크에서 시스템을 평가하기 위해.

제안 방법

• 질문과 후보 질문 간의 유사도 행렬을 구성하기 위해, 분산 단어 표현(예: word2vec) 간의 코사인 거리를 사용하여 단어 수준의 유사도를 계산한다.
• 유사도 행렬을 기반으로 질문 간 최적의 단어 정렬을 계산하며, 정렬 위치와 점수를 밀집 특징으로 추출한다.
• 시스템 랭킹 결과에서 소수의 효과적인 희소 어휘 특징을 추출하기 위해 부트스트래핑 기반의 특징 추출 방법을 사용하여 소규모 FAQ 아카이브에서 과적합을 방지한다.
• 밀집 특징과 희소 특징을 조합한 입력을 받는 신경망 모델을 사용하며, 출력층은 [0,1] 범위의 유사도를 예측하기 위해 시그모이드 활성화 함수를 사용한다.
• 이중 분류 기반 학습이 아닌 랭킹 성능 최적화를 목표로 하는 랭킹 학습 알고리즘을 사용하여 모델을 훈련한다.
• 영어, 스페인어, 일본어 FAQ 아카이브와 TREC 답변 문장 선택 데이터셋에서 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 분산 단어 표현에서 유도된 질문 간 단어 정렬이 저자원 FAQ 환경에서 의미 유사도를 효과적으로 포착할 수 있는가?
• RQ2 소규모 FAQ 아카이브에서 정보성 희소 특징의 최소 집합을 선택하기 위한 부트스트래핑 기반 방법의 효과는 어떠한가?
• RQ3 기존의 분류 기반 학습에 비해 질문 유사도 랭킹을 위한 랭킹 학습 목표 함수가 성능 향상에 기여하는가?
• RQ4 제안된 방법이 언어 간 일반화 능력을 얼마나 잘 보이고 있으며, 다국어 FAQ 및 답변 문장 선택 작업에서 기존 시스템을 능가하는가?

주요 결과

• 부트스트래핑을 통해 추출한 희소 특징의 추가로 영어, 스페인어, 일본어 전반에서 상위 1위 정확도가 약 5% 향상되었다.
• 랭킹 학습 알고리즘이 기존의 분류 기반 학습에 비해 뚜렷이 뛰어난 성능을 보이며, 개발 세트에서 더 나은 랭킹 성능을 입증했다.
• 300개의 은닉 뉴런을 가진 신경망 모델이 최고의 성능을 보였으며, 이는 비선형 모델링이 유사도 예측 성능을 향상시킨다는 것을 보여준다.
• TREC 답변 문장 선택 벤치마크에서 모델은 MAP 0.746과 MRR 0.820을 기록하여 이전의 최신 기술 수준 시스템을 모두 능가했다.
• 'SparseHidden' 모델(밀집 + 희소 특징 + 300개 은닉 뉴런)은 영어 테스트 세트에서 52.04%, 스페인어에서 59.42%, 일본어에서 70.29%의 상위 1위 정확도를 달성했다.