[논문 리뷰] Sanity Check: A Strong Alignment and Information Retrieval Baseline for Question Answering

Vikas Yadav, Rebecca Sharp외 1명|arXiv (Cornell University)|2018. 07. 05.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 논문은 사전에 학습된 GloVe 임베딩을 사용하여 일对다 단어 정렬과 부정적 정렬을 활용하는 간단하고 비지도이며 빠른 질문 응답 기준선을 소개한다. 최소한의 복잡성과 학습이 없음에도 불구하고, 과학 QA에서 47%의 P@1, Yahoo! Answers에서 32.9%의 P@1, WikiQA에서 64%의 MAP를 기록하며 최신 기준 수준에 근접한 성능을 달성한다. 이는 전통적인 기준선과 여러 복잡한 지도 학습 모델을 모두 능가한다.

ABSTRACT

While increasingly complex approaches to question answering (QA) have been proposed, the true gain of these systems, particularly with respect to their expensive training requirements, can be inflated when they are not compared to adequate baselines. Here we propose an unsupervised, simple, and fast alignment and information retrieval baseline that incorporates two novel contributions: a extit{one-to-many alignment} between query and document terms and extit{negative alignment} as a proxy for discriminative information. Our approach not only outperforms all conventional baselines as well as many supervised recurrent neural networks, but also approaches the state of the art for supervised systems on three QA datasets. With only three hyperparameters, we achieve 47\% P@1 on an 8th grade Science QA dataset, 32.9\% P@1 on a Yahoo! answers QA dataset and 64\% MAP on WikiQA. We also achieve 26.56\% and 58.36\% on ARC challenge and easy dataset respectively. In addition to including the additional ARC results in this version of the paper, for the ARC easy set only we also experimented with one additional parameter -- number of justifications retrieved.

연구 동기 및 목표

• 최근 질문 응답 연구에서 복잡한 모델이 강력한 기준점 없이 평가되는 경향이 있는 데 대비하여, 이에 대한 엄밀한 기준선 비교의 부족을 해결하고자 한다.
• 어휘적 및 의미적 정렬에 기반한 단순한 비지도 방법이 더 복잡한 지도 학습 모델을 능가할 수 있음을 보여주고자 한다.
• 세 가지 하이퍼파rameter만을 사용하고 사전에 학습된 단어 임베딩을 활용하는 최소한의 효과적인 기준선을 제안하고자 한다.
• 부정적 정렬과 일대다 용어 매칭이 문맥 모델링 및 답변 식별에 기여함을 보여주고자 한다.
• 커뮤니티가 공정한 QA 시스템 평가를 위해 더 강력하고 투명한 기준선을 채택하도록 장려하고자 한다.

제안 방법

• 질문 텀과 후보 답변 텀 간의 코사인 유사도를 계산하기 위해 사전에 학습된 300차원의 GloVe 단어 임베딩을 사용한다.
• 일대다 정렬을 구현하여 한 개의 질문 텀이 답변 내에서 의미적으로 유사한 다수의 텀에 매핑되도록 하여 문맥 민감도를 향상시킨다.
• 부정적 정렬을 사용하여 구분 정보의 대체 지표로 삼아, 올바른 답변와 유사하지만 잘못된 답변들을 구분하는 데 기여한다.
• 각 질문 텀별로 국소적으로 역문헌 빈도(IDF)를 계산하여 텀의 중요도를 가중한다.
• 정상 정렬 점수와 부정 정렬 점수의 상위 랭크된 점수의 합을 바탕으로 답변 관련도 점수를 산정하며, 정렬 임계값, 부정 정렬 가중치, 유지할 상위 정렬 수의 세 개의 하이퍼파rameter를 조정한다.
• 이 방법은 완전히 비지도이며, 학습 또는 미세조정이 전혀 필요하지 않다.

실험 결과

연구 질문

• RQ1 어휘적 및 의미적 정렬에 기반한 단순한 비지도 접근 방식이 질문 응답에서 복잡한 지도 학습 신경망을 능가할 수 있는가?
• RQ2 일대일 매핑 대비 일대다 용어 정렬을 통합함으로써 답변 관련도 추정 성능이 향상되는가?
• RQ3 부정적 정렬이 답변 선택에서 구분 정보의 효과적인 대체 지표로 기능할 수 있는가?
• RQ4 정렬 조밀도가 너무 높아져 노이즈로 인해 성능이 저하되기 전에 '적당한 영역'(Goldilocks zone)이 존재하는가?
• RQ5 최소한의 하이퍼파rameter를 사용하는 기준선이 다양한 QA 데이터셋에서 최신 기준 수준의 성능에 도달할 수 있는가?

주요 결과

• 제안된 비지도 기준선은 8학년 과학 QA 데이터셋에서 47.00%의 P@1 성능을 기록하여 BM25 및 LCLR 기준선을 크게 능가한다.
• Yahoo! Answers 데이터셋에서는 32.9%의 P@1 성능을 기록하며, BM25를 초월하여 의미 정렬이 어휘적 겹침을 넘어서는 이점을 보여준다.
• WikiQA에서는 64.00%의 MAP 성능을 기록하여 강력한 LCLR 기준선을 +4.10%p 초월한다.
• ARC 데이터셋에서는 쉬운 세트에서 58.36%의 P@1, 케이지 세트에서 26.56%의 P@1 성능을 기록하며, BiDAF 및 DGEM과 같은 지도 학습 모델의 성능에 근접한다.
• 양방향 정렬(긍정 및 부정 정렬)을 모두 포함한 전체 모델은 모든 데이터셋에서 일대일 및 일대모두 기준선을 모두 능가하며, WikiQA 및 Yahoo! QA에서 통계적 유의성을 확보한다.
• 단순함에도 불구하고, 이 모델는 최근 지도 학습 시스템의 평균 성능에 근접하며, 모든 전통적 기준선을 초월한다. 이는 강력한 기준선 설계가 공정한 평가를 위해 매우 중요하다는 것을 시사한다.