[논문 리뷰] EfficientQA : a RoBERTa Based Phrase-Indexed Question-Answering System

Sofian Chaybouti, Achraf Saghe외 1명|arXiv (Cornell University)|2021. 01. 06.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

EfficientQA는 RoBERTa 기반의 어휘색인 기반 질문 응답 시스템을 제안하며, 질문에 관계없이 후보 추출 및 시아모이스 네트워크 학습을 통해 질문과 답변 후보를 공통의 조밀 벡터 공간으로 매핑함으로써 효율적인 최근접 이웃 검색을 가능하게 한다. 이는 PIQA 벤치마크에서 기존 방법보다 정확도 매칭 기준 1.3점, F1 점수 기준 1.4점 향상시키며, BERT-large 대신 더 작은 RoBERTa-base 모델을 사용함에도 불구하고 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

State-of-the-art extractive question-answering models achieve superhuman performances on the SQuAD benchmark. Yet, they are unreasonably heavy and need expensive GPU computing to answer questions in a reasonable time. Thus, they cannot be used in the open-domain question-answering paradigm for real-world queries on hundreds of thousands of documents. In this paper, we explore the possibility of transferring the natural language understanding of language models into dense vectors representing questions and answer candidates to make question-answering compatible with a simple nearest neighbor search task. This new model, which we call EfficientQA, takes advantage of the pair of sequences kind of input of BERT-based models to build meaningful, dense representations of candidate answers. These latter are extracted from the context in a question-agnostic fashion. Our model achieves state-of-the-art results in Phrase-Indexed Question Answering (PIQA), beating the previous state-of-art by 1.3 points in exact-match and 1.4 points in f1-score. These results show that dense vectors can embed rich semantic representations of sequences, although these were built from language models not originally trained for the use case. Thus, to build more resource-efficient NLP systems in the future, training language models better adapted to build dense representations of phrases is one of the possibilities.

연구 동기 및 목표

• 조밀 벡터 색인을 통한 효율적 추론을 가능하게 하여 개방 도메인 환경에서 무거운 추출 기반 QA 모델의 확장성 한계를 해결한다.
• 후보 추출을 질문 인코딩에서 분리하여 검색 공간을 줄여 개방 도메인 질문 응답의 효율성을 향상시킨다.
• 사전 훈련된 언어 모델에서 유도된 조밀 표현이 최근접 이웃 검색을 위한 어휘 수준의 의미를 효과적으로 인코딩할 수 있음을 보여준다.
• 효율적인 어휘색인 기반 모델과 전체 문맥을 고려한 질문 인식 QA 시스템 간의 성능 격차를 줄인다.
• 경량 색인과 추론을 통해 CPU 전용 또는 자원이 제한된 환경에서도 QA 시스템의 구현을 가능하게 한다.

제안 방법

• 질문에 관계없이 RoBERTa 기반 모델을 사용해 시작 및 끝 위치를 동시에 예측하도록 훈련시켜 문서에서 후보 답변을 추출한다.
• 질문과 후보 답변을 모두 공통의 조밀 벡터 공간으로 매핑하기 위해 시아모이스 네트워크 아키텍처를 사용한다.
• 삼중체 손실을 사용한 대비 학습을 통해 질문-답변 쌍 간의 의미적 유사도를 극대화하고, 음성 쌍 간의 유사도를 최소화한다.
• 모든 후보 답변 벡터를 사전에 색인하여, 코사인 유사도를 사용한 간단한 최근접 이웃 검색을 통한 온라인 추론을 가능하게 한다.
• RoBERTa-base의 문맥적 표현을 활용해 질문 인식 미세조정 없이도 고품질의 조밀 벡터를 생성한다.
• 혼합 정밀도 훈련과 기울기 누적 기법을 적용하여 단일 24GB GPU에서 훈련 시간과 메모리 사용량을 줄인다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델에서 유도된 조밀 벡터 표현이 질문 응답에서 효율적인 최근접 이웃 검색을 위한 어휘 수준의 의미를 효과적으로 인코딩할 수 있는가?
• RQ2 질문의 맥락 없이 후보 추출을 수행함에도 불구하고, 검색 공간이 충분히 줄어들어 정확도 향상이 이루어지는가?
• RQ3 최적화된 조밀 표현 학습을 사용할 경우, 더 작은 RoBERTa-base 모델이 더 큰 BERT-large 모델보다 어휘색인 기반 QA에서 성능을 뛰어넘을 수 있는가?
• RQ4 시작 위치와 끝 위치 확률을 별도로 예측하는 것과 비교해, 둘을 동시에 모델링하는 것이 후보 품질에 얼마나 기여하는가?
• RQ5 다양한 훈련 데이터 크기를 가진 언어 간에 효율적인 어휘색인 기반 모델과 전체 문맥 기반 QA 모델 간의 성능 격차는 어느 정도인가?

주요 결과

• EfficientQA는 PIQA 벤치마크에서 정확도 매칭 기준 74.9%, F1 점수 기준 83.1%를 달성하여 이전 최신 기술 수준(DENSPI)보다 각각 1.3점, 1.4점 높게 기록한다.
• 시작 및 끝 위치를 동시에 모델링하는 제안된 후보 추출 아키텍처는 100개의 후보에 대해 정확도 매칭 기준 92.3%, F1 점수 기준 96.7%를 기록하며, 별도로 예측하는 기준선(빔 서치 사용 시 정확도 매칭 54.1%, F1 점수 72.4%)을 크게 능가한다.
• 더 작은 RoBERTa-base 모델(125M 파라미터)을 사용했음에도 불구하고, 더 큰 BERT-large 모델(340M 파라미터)을 사용하는 DENSPI를 뛰어넘는 성능을 보이며, 이는 본 방법의 효율성을 입증한다.
• FQuAD 벤치마크에서 EfficientQA는 프랑스어 기준 정확도 매칭 64.4%, F1 점수 76.0%를 기록했으며, 미세조정된 CamemBERT 모델과 비교해 정확도 매칭 기준 13.2점, F1 점수 기준 11.3점의 격차를 보이며 자원이 제한된 언어에서의 향상 여지를 시사한다.
• 혼합 정밀도 및 기울기 누적 기법을 사용해 단일 24GB GPU에서 약 일주일 내로 훈련이 가능하며, 배치 크기는 32에 해당하여 훈련 자원 요구 사항이 낮음을 보여준다.
• 최근접 이웃 검색을 통한 효율적 추론을 가능하게 하여, 온라인 배포 시 고비용 GPU 추론의 필요성을 줄였다.