[논문 리뷰] Poly-encoders: Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring

Samuel Humeau, Kurt Shuster외 2명|arXiv (Cornell University)|2019. 04. 22.

Topic Modeling참고 문헌 34인용 수 154

한 줄 요약

Poly-encoder를 도입한 트랜스포머 아키텍처로, Bi-encoders의 캐싱 이점과 Cross-encoders의 풍부한 상호작용을 결합해 다중 문장 채점 작업의 추론 속도와 정확도를 높이고, 작업 형식 데이터(특히 Reddit)에서의 사전 학습이 대화 및 IR 데이터셋에서 최첨단 성능을 달성함을 보여준다.

ABSTRACT

The use of deep pre-trained bidirectional transformers has led to remarkable progress in a number of applications (Devlin et al., 2018). For tasks that make pairwise comparisons between sequences, matching a given input with a corresponding label, two approaches are common: Cross-encoders performing full self-attention over the pair and Bi-encoders encoding the pair separately. The former often performs better, but is too slow for practical use. In this work, we develop a new transformer architecture, the Poly-encoder, that learns global rather than token level self-attention features. We perform a detailed comparison of all three approaches, including what pre-training and fine-tuning strategies work best. We show our models achieve state-of-the-art results on three existing tasks; that Poly-encoders are faster than Cross-encoders and more accurate than Bi-encoders; and that the best results are obtained by pre-training on large datasets similar to the downstream tasks.

연구 동기 및 목표

• 후보 검색 작업에서 정확도와 속도의 균형을 맞춰 다중 문장 채점을 발전시킨다.
• 다양한 사전 학습 전략하에서 Bi-encoder, Cross-encoder, 제안된 Poly-encoder 아키텍처를 비교한다.
• 태스크 관련 사전 학습 데이터가 다운스트림 성능에 미치는 영향을 보여준다.
• 실시간 시스템을 위한 확장성 및 실용적 추론 속도 트레이드오프를 보여준다.

제안 방법

• 세 가지 아키텍처를 제안한다: Bi-encoder(맥락 인코딩과 레이블 인코딩이 분리됨), Cross-encoder(맥락과 레이블을 전체 셀프 어텐션으로 공동 인코딩), 그리고 Poly-encoder(맥락이 학습된 전역 맥락 코드의 작고 정해진 셋에만 주목하고 레이블은 별도로 인코딩됨).
• 사전 학습 방식 개발: Wikipedia/Toronto Books에서의 BERT 유사 사전 학습; Reddit에서의 제로-에서부터의 자체 학습 사전 학습(대화 관련성 확보)을 MLM 및 다음 문장/발화 예측 과제로 수행.
• 각 아키텍처를 네 가지 태스크(CConvAI2, DSTC7, Ubuntu V2, Wikipedia Article Search)에 대해 태스크에 맞는 음수 샘플과 평가 지표로 미세조정한다.
• 퍼포먼스를 극대화하기 위해 배치 크기, 배치당 음수 샘플 수, 어느 트랜스포머 층을 미세조정할지 등 하이퍼파라미터를 조사한다.
• CPU/GPU에서의 추론 속도를 평가하고 Bi-, Poly-, Cross-encoder 간 학습 효율을 비교한다.
• Poly-encoder의 맥락 코드 수(m)가 성능과 속도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 Poly-encoder가 다중 문장 채점 작업에서 Bi-encoder 및 Cross-encoder에 비해 정확도와 속도의 우호적인 균형을 달성할 수 있는가?
• RQ2 다양한 사전 학습 데이터(Reddit 대 Wikipedia/Toronto Books)가 대화 및 IR 데이터셋 전반의 다운스트림 성능에 어떤 영향을 미치는가?
• RQ3 Poly-encoder의 맥락 코드 수(m)가 검색 정확도 및 추론 시간에 어떤 영향을 미치는가?
• RQ4 실시간 시스템에 이러한 아키텍처를 배치하기 위한 실용적인 학습 및 추론 시간 트레이드오프는 무엇인가?

주요 결과

• Poly-encoder는 평가된 모든 작업에서 일관되게 Bi-encoder보다 정확도에서 우수하다.
• Poly-encoder는 Cross-encoder보다 훨씬 빠른 추론을 달성하여 실시간 검색 및 대화 시스템에 적합하다.
• Reddit에서의 사전 학습(대화 유사 데이터)은 Poly-encoders 또는 Bi-encoders와 결합했을 때 세 개의 대화 태스크와 IR 태스크에서 최첨단 성능을 보인다.
• 더 큰 맥락 코드 수(m)를 사용할수록 일반적으로 Poly-encoder 성능이 향상되지만, m이 커질수록 속도와의 트레이드오프에 수익 감소가 나타난다.
• 추론 시간은 Cross-encoders가 기하급수적으로 느리고, Poly-encoders는 제작 배포에 적합한 우수한 정확도-속도 트레이드오프를 제시한다.
• Reddit에서의 사전 학습은 테스트된 모든 아키텍처와 태스크에서 BERT 기반 초기화 대비 개선을 이끈다.