[논문 리뷰] DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding

Yuyu Zhang, Ping Nie외 4명|arXiv (Cornell University)|2020. 02. 28.

Topic Modeling참고 문헌 23인용 수 10

한 줄 요약

DC-BERT는 질문과 문서를 별도로 처리하는 디커플드 BERT 프레임워크를 제안한다. 이는 전용 온라인 및 오프라인 BERT 모델을 사용해 질문과 문서를 각각 인코딩하고, 문서 인코딩을 캐시하여 빠른 검색을 가능하게 한다. 질문-문서 연결을 학습 가능한 글로벌 임베딩과 트랜스포머 기반 상호작용으로 대체함으로써, 표준 BERT 기반 재정렬기 대비 10배 이상의 속도 향상을 이룩하면서도 QA 성능의 98%를 유지한다.

ABSTRACT

Recent studies on open-domain question answering have achieved prominent performance improvement using pre-trained language models such as BERT. State-of-the-art approaches typically follow the "retrieve and read" pipeline and employ BERT-based reranker to filter retrieved documents before feeding them into the reader module. The BERT retriever takes as input the concatenation of question and each retrieved document. Despite the success of these approaches in terms of QA accuracy, due to the concatenation, they can barely handle high-throughput of incoming questions each with a large collection of retrieved documents. To address the efficiency problem, we propose DC-BERT, a decoupled contextual encoding framework that has dual BERT models: an online BERT which encodes the question only once, and an offline BERT which pre-encodes all the documents and caches their encodings. On SQuAD Open and Natural Questions Open datasets, DC-BERT achieves 10x speedup on document retrieval, while retaining most (about 98%) of the QA performance compared to state-of-the-art approaches for open-domain question answering.

연구 동기 및 목표

• 각각의 검색된 문서마다 동일한 질문을 다시 인코딩하는 BERT 기반 문서 재정렬기의 비효율성 문제를 해결한다.
• 질문과 문서 인코딩을 분리함으로써 고처리량 오픈도메인 질의응답을 가능하게 한다.
• 인퍼런스 지연을 극적으로 줄이면서도 높은 검색 및 답변 정확도를 유지한다.
• 학습 가능한 임베딩과 트랜스포머를 활용한 국소적 맥락 인코딩과 글로벌 질문-문서 상호작용을 결합한 새로운 아키텍처를 탐색한다.

제안 방법

• BERT를 두 개의 별도 모델로 분해: 온라인 BERT는 단일 질문 인코딩을 담당하고, 오프라인 BERT는 사전에 모든 문서를 인코딩하고 캐시한다.
• 질문과 문서를 독립적으로 인코딩하기 위해 국소 BERT 레이어를 사용하여 하위 레이어에서 문법적 및 의미적 정보를 유지한다.
• 질문 및 문서 표현 간의 상호작용을 모델링하기 위해 학습 가능한 글로벌 위치 및 유형 임베딩을 도입한다.
• 디커플드 인코딩의 위에 여러 트랜스포머 레이어를 적용하여 풍부한 질문-문서 상호작용을 가능하게 한다.
• 문서 임베딩을 사전에 캐시하여 인퍼런스 중 반복적인 인코딩을 제거함으로써 즉각적인 검색을 가능하게 한다.
• 효율성이 가장 중요한 대상인 문서 재정렬에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 BERT에서 질문과 문서 인코딩을 분리함으로써 정확도 손실 없이 인퍼런스 지연을 줄일 수 있는가?
• RQ2 연결(concatenation) 방식과 비교해 학습 가능한 글로벌 임베딩과 트랜스포머 레이어가 질문-문서 상호작용을 얼마나 효과적으로 모델링하는가?
• RQ3 디커플드 아키텍처에서 트랜스포머 레이어 수(모델 깊이)의 증가가 인퍼런스 속도에 미치는 영향는 어떠한가?
• RQ4 모델 압축 및 정규화 기법과 비교해 디커플드 접근법은 속도와 성능 측면에서 어떻게 다른가?

주요 결과

• 표준 BERT 기반 재정렬기 대비 DC-BERT는 문서 검색에서 10배 이상의 속도 향상을 기록했으며, 실시간 인퍼런스에 미치는 지연 영향은 최소한이다.
• SQuAD Open 및 Natural Questions Open 데이터셋에서 DC-BERT는 BERT-base 기준선의 정답 정확도(EM)의 98%를 유지한다.
• 모델 용량이 낮음에도 불구하고, 양자화된 BERT 및 DistilBERT보다 둘 다 검색 및 답변 정확도에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 선형 또는 LSTM 기반 대안에 비해 트랜스포머 기반 상호작용 레이어가 훨씬 높은 성능을 기록했다.
• 상호작용 트랜스포머 레이어 수를 늘릴수록 QA 성능은 향상되지만 속도 향상 비율은 감소함을 확인하여, 성능과 효율성 간의 명확한 트레이드오���이 존재함을 입증했다.