[논문 리뷰] FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance

Wataru Sakata, Tomohide Shibata외 2명|arXiv (Cornell University)|2019. 05. 08.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 TSUBAKI를 사용한 비지도 쿼리-질문(q-Q) 유사도와 BERT 기반 쿼리-답변(q-A) 관련성 점수를 조합하여 검색 성능을 향상시키는 하이브리드 FAQ 검색 시스템을 제안한다. 유사한 FAQ 데이터셋을 활용해 제한된 학습 데이터를 보완함으로써, 일본 지방정부 및 영어 StackExchange 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, MAP, MRR, P@5 지표에서 베이스라인을 능가하였다.

ABSTRACT

Frequently Asked Question (FAQ) retrieval is an important task where the objective is to retrieve an appropriate Question-Answer (QA) pair from a database based on a user's query. We propose a FAQ retrieval system that considers the similarity between a user's query and a question as well as the relevance between the query and an answer. Although a common approach to FAQ retrieval is to construct labeled data for training, it takes annotation costs. Therefore, we use a traditional unsupervised information retrieval system to calculate the similarity between the query and question. On the other hand, the relevance between the query and answer can be learned by using QA pairs in a FAQ database. The recently-proposed BERT model is used for the relevance calculation. Since the number of QA pairs in FAQ page is not enough to train a model, we cope with this issue by leveraging FAQ sets that are similar to the one in question. We evaluate our approach on two datasets. The first one is localgovFAQ, a dataset we construct in a Japanese administrative municipality domain. The second is StackExchange dataset, which is the public dataset in English. We demonstrate that our proposed method outperforms baseline methods on these datasets.

연구 동기 및 목표

• FAQ 검색에서 쿼리-QA 관련성에 대한 레이블링 비용이 높다는 문제를 해결하기 위해.
• 비지도 q-Q 유사도와 BERT 기반 q-A 관련성을 조합하여 FAQ 검색 성능을 향상시키기 위해.
• 작은 FAQ 데이터셋에서의 데이터 부족 문제를 해결하기 위해 유사한 FAQ 세트를 수집하고 학습에 활용하기 위해.
• 다양한 도메인과 언어에 적용 가능한 강력하고 고성능의 FAQ 검색 시스템을 개발하기 위해.

제안 방법

• OKAPI BM25 기반의 비지도 검색 시스템인 TSUBAKI를 사용하여 쿼리-질문(q-Q) 유사도를 계산한다.
• QA 쌍에서 쿼리-답변(q-A) 관련성을 학습하기 위해 BERT를 문장 쌍 분류기로 적용한다.
• 정확한 QA 쌍과 무작위로 샘플링한 부정적 답변을 조합하여 양성 및 부정성 학습 쌍을 구성한다.
• 여러 유사한 FAQ 데이터셋을 활용하여 BERT의 학습 데이터 크기를 증가시켜 데이터 부족 문제를 완화한다.
• 최종 순위 매기기 위해 q-Q 유사도 점수와 q-A 관련성 점수를 조기에 연결하고 후에 상호작용을 고려한다.
• 더 큰 FAQ 컬렉션에서의 확장성을 확보하기 위해 타원형 검색 설정을 적용한다.

실험 결과

연구 질문

• RQ1 비지도 q-Q 유사도와 BERT 기반 q-A 관련성을 조합하면 FAQ 검색 성능이 향상되는가?
• RQ2 학습 데이터 크기가 제한되었을 때 BERT가 q-A 관련성을 얼마나 효과적으로 학습하는가?
• RQ3 유사한 FAQ 세트를 통한 데이터 증강이 모델의 일반화 능력과 성능을 크게 향상시키는가?
• RQ4 하이브리드 접근 방식이 단지 q-Q 유사도 또는 q-A 관련성에 의존하는 방법보다 우월한가?

주요 결과

• localgovFAQ 데이터셋에서 제안된 방법은 MAP 0.897, MRR 0.942, P@5 0.776을 기록하여 모든 베이스라인을 능가하였다.
• StackExchange 데이터셋에서 제안된 방법은 MAP 0.845, MRR 0.892, P@5 0.734를 기록하여 강력한 일반화 능력을 보였다.
• BERT 기반의 q-A 관련성 구성 요소만으로도 localgovFAQ에서 MAP 0.887을 달성하여, q-Q 유사도 없이도 효과적임을 보였다.
• localgovFAQ에서 상위 1위 랭크에서 정확한 QA 쌍을 77.6%의 비율로 올바르게 검색하여, TSUBAKI 및 BERT 전용 베이스라인을 능가하였다.
• BERT의 문맥 이해 능력 덕분에 쿼리와 질문 간 어휘적 격차가 존재할 경우에도 관련 QA 쌍을 성공적으로 검색하였다.
• 7개의 GPU를 사용할 경우 쿼리당 약 2초 내로 시스템이 실행되어 실용적인 효율성을 입증하였다.