[논문 리뷰] Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering

Wissam Siblini, Mohamed Challal외 1명|arXiv (Cornell University)|2020. 10. 16.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 BERT 및 ALBERT 모델에 지연 상호작용 레이어(DIL)를 도입하여 개방형 질의응답(ODQA)에서 효율성을 향상시킨다. 자기주의 계산을 후속 레이어로 연기함으로써 최대 85%의 FLOPs 감소와 CPU/GPU에서 최대 10배의 속도 향상을 달성하며, OpenSQuAD와 같은 다중 문서 ODQA 벤치마크에서 성능을 유지하거나 향상시킨다.

ABSTRACT

Open Domain Question Answering (ODQA) on a large-scale corpus of documents (e.g. Wikipedia) is a key challenge in computer science. Although transformer-based language models such as Bert have shown on SQuAD the ability to surpass humans for extracting answers in small passages of text, they suffer from their high complexity when faced to a much larger search space. The most common way to tackle this problem is to add a preliminary Information Retrieval step to heavily filter the corpus and only keep the relevant passages. In this paper, we propose a more direct and complementary solution which consists in applying a generic change in the architecture of transformer-based models to delay the attention between subparts of the input and allow a more efficient management of computations. The resulting variants are competitive with the original models on the extractive task and allow, on the ODQA setting, a significant speedup and even a performance improvement in many cases.

연구 동기 및 목표

• 실시간으로 수백만 개의 문서 파assage를 처리하는 데 비용이 많이 드는 트랜스포머 기반 모델의 높은 계산 비용을 해결한다.
• 위키피디아와 같은 대규모 코퍼스에 적용할 때 추출형 QA 모델의 느린 추론 속도 문제를 해결한다.
• 정답 정확도를 훼손하지 않으면서 계산을 줄일 수 있는 아키텍처 수정 방법을 탐색한다. 특히 다중 문서 설정에서 중요하다.
• 기존 사전학습 모델과 호환되는 일반적인 방법을 개발하여 표준 벤치마크에서 성능을 유지하면서도 추론 속도를 높인다.
• 주의 상호작용을 지연시키는 것이 불필요하거나 다수의 문서에 대한 일반화 능력을 향상시키고, 단일 관련 문서에 대한 과적합을 줄이는 데 기여하는지 조사한다.

제안 방법

• Transformer 인코더의 마지막 k개 레이어에만 자기주의 계산을 제한하는 지연 상호작용 레이어(DIL) 메커니즘을 도입한다. 첫 (12-k)개 레이어는 교차 세그먼트 주의 없이 입력을 처리한다.
• DIL 메커니즘을 BERT 및 ALBERT 아키텍처 모두에 적용하여 사전학습된 가중치를 유지하고, 최종 QA 작업에서만 미세조정하는 DilBERT 및 DilALBERT 버전을 생성한다.
• 표준 검색기(Lucene + BM25)를 사용해 상위-p개의 관련 문서를 검색한 후, DilBERT/DilALBERT 리더를 사용해 해당 파assage에서 정답을 추출한다.
• 특히 CPU 또는 자원이 제한된 환경에서 유리한 바, 마지막 k개 레이어(예: k=2)에만 주의를 제한하여 추론 중 FLOPs와 메모리 사용량을 크게 줄인다.
• 원본 모델과 동일한 모델 아키텍처와 헤드 구조를 유지하여 기존 사전학습 가중치 및 미세조정 절차와의 호환성을 확보한다.
• SQuAD v1.1에서 학습하고 OpenSQuAD에서 미세조정하며, 스파니시 예측을 위한 표준 교차 엔트로피 손실을 사용한다. 동시에 단일 및 다중 문서 설정에서의 성능을 모니터링한다.

실험 결과

연구 질문

• RQ1 트랜스포머 인코더에서 자기주의 계산을 후속 레이어로 연기함으로써 개방형 QA에서 추론 시간을 크게 줄일 수 있을까? 정답 정확도는 떨어지지 않을까?
• RQ2 DIL 메커니즘이 다수 또는 관련 없는 문서에 대한 일반화 능력을 향상시키고, 단일 관련 문서에 대한 과적합을 줄이는 데 기여할까?
• RQ3 기존 모델과 비교해 DIL 메커니즘이 SQuAD v1.1과 같은 표준 추출형 QA 벤치마크에서 성능을 얼마나 유지할까?
• RQ4 특히 OpenSQuAD에서 DIL 버전의 성능은 표준 BERT/ALBERT와 비교해 어떻게 될까? 다중 문서 ODQA 설정에서의 성능을 어떻게 평가할 수 있을까?
• RQ5 DIL 메커니즘은 재학습이나 아키텍처 재설계 없이도 다른 트랜스포머 기반 모델에 일반적으로 적용될 수 있을까?

주요 결과

• DilBERT 및 DilALBERT 모델은 CPU 및 GPU에서 ODQA 작업을 처리할 때 최대 10배 빠른 추론 시간을 달성하며, k=10일 때 FLOPs가 6배(85%) 감소한다.
• SQuAD v1.1 벤치마크에서 DilBERT 및 DilALBERT는 단일 문서 QA에서 정확도 지표(EM 및 F1)가 약간 떨어지지만, 경쟁 가능한 성능을 보이며 표준 작업에서의 성능 저하가 미미하다.
• OpenSQuAD 벤치마크에서 DilBERT 및 DilALBERT는 다수의 관련 문서에서 정답을 선택할 때 기존 기반 모델을 능가하며, 더 나은 일반화 능력을 보여준다.
• DIL 메커니즘은 단일 관련 문서에 대한 과적합을 줄이며, 불필요한 문맥에 대한 민감도가 감소하고 다수의 파assage에 걸쳐 일관된 예측을 보여, 이는 과적합 감소를 뒷받침한다.
• 저자들은 엔지니어링 최적화 덕분에 Lucene + BERT 기반 베이스라인의 OpenSQuAD 성능 향상을 보고했지만, DIL 버전은 훨씬 더 빠른 추론을 유지하면서도 최신 기술 수준의 성능을 달성한다.
• 이 방법은 기존 사전학습 모델과 호환되며, 재학습이나 대규모 사전학습 데이터 접근 없이도 구현이 가능하다.