[논문 리뷰] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension

Adams Wei Yu, David Dohan외 5명|arXiv (Cornell University)|2018. 04. 23.

Topic Modeling참고 문헌 33인용 수 417

한 줄 요약

QANet은 읽기 이해를 위한 완전 합성곱 및 자체-주의 기반 인코더를 도입하여 RNN 기반 모델과 비슷한 정확도를 달성하는 동시에 3x–13x의 학습 속도와 4x–9x의 추론 속도 향상을 제공하며, backtranslation을 통한 데이터 증강으로 성능이 더욱 향상됩니다.

ABSTRACT

Current end-to-end machine reading and question answering (Q\&A) models are primarily based on recurrent neural networks (RNNs) with attention. Despite their success, these models are often slow for both training and inference due to the sequential nature of RNNs. We propose a new Q\&A architecture called QANet, which does not require recurrent networks: Its encoder consists exclusively of convolution and self-attention, where convolution models local interactions and self-attention models global interactions. On the SQuAD dataset, our model is 3x to 13x faster in training and 4x to 9x faster in inference, while achieving equivalent accuracy to recurrent models. The speed-up gain allows us to train the model with much more data. We hence combine our model with data generated by backtranslation from a neural machine translation model. On the SQuAD dataset, our single model, trained with augmented data, achieves 84.6 F1 score on the test set, which is significantly better than the best published F1 score of 81.8.

연구 동기 및 목표

• 인코더에서 재귀성을 제거하여 엔드투엔드 QA 모델의 속도를 높이려는 동기를 부여한다.
• 로컬 구조를 위한 합성곱과 전역 상호작용을 위한 자기 주의를 결합한 피드포어드 아키텍처를 제안한다.
• SQuAD에서 경쟁력 있는 정확도를 유지하면서 RNN 기반 모델에 비해 속도 향상을 입증한다.
• backtranslation을 통한 데이터 증강으로 QA 성능을 향상시키는 것을 시연한다.
• 구성 요소와 증강 전략의 타당성을 뒷받침하는 소거 연구를 통해 분석을 제공한다.

제안 방법

• 고정된 GloVe 벡터로 단어를 임베딩하고 학습 가능한 문자 임베딩을 사용한다.
• 잉여 잔차 블록 내에서 다중층 합성곱, 다중 헤드 자기 주의 및 피드포워드 네트워크로 구성된 임베딩 인코더 계층을 사용한다.
• 깊이 분리 가능 합성곱(depthwise separable convolutions, 커널 크기 7)과 128개의 은닉 채널; 자기 주의에서 8개의 어텐션 헤드를 사용한다.
• 삼차 유사도(trilinear similarity)를 사용한 컨텍스트-쿼이 주의 층을 적용하여 컨텍스트와 질문 간의 상호 작용을 형성한다.
• 가중치를 공유하는 일곱 개의 모델 인코더 블록으로 구성된 다중 인코더 설정을 사용하고, 시작/끝 위치를 예측하는 출력층으로 피드한다.
• 학습 데이터를 backtranslated 패러프레이즈(En-Fr-En, En-De-En)로 증강하여 데이터셋의 크기와 다양성을 증가시킨다.

실험 결과

연구 질문

• RQ1 오직 합성곱과 자기 주의에 의존하는 비순환 인코더가 SQuAD에서 RNN 기반 QA 모델과 같은 정확도에 도달하거나 이를 능가할 수 있는가?
• RQ2 QA 모델에서 RNN을 합성곱과 자기 주의로 대체할 때 속도와 정확도 간의 무역은 어떤가?
• RQ3 backtranslation을 통한 데이터 증강이 SQuAD와 TriviaQA에서 QA 성능을 실질적으로 향상시키는가?
• RQ4 주요 구성요소(합성곱, 자기 주의, 분리 가능한 합성곱)의 제거가 성능에 어떤 영향을 미치는가?
• RQ5 SQuAD의 적대적 증강에 대해 모델은 얼마나 강건한가?

주요 결과

모델	EM	F1	참고사항
QANet (dev)	73.6	82.7	원본 데이터의 기본 모델
QANet + data augmentation × 2 (1:1:0)	74.5	83.2	개발 세트; 증강이 두 배로 증가
QANet + data augmentation × 3 (1:1:1)	75.1	83.8	개발 세트; 증강이 세 배로 증가
Test set: QANet + data augmentation × 3	76.2	84.6	최고의 단일 모델 테스트 성능

• QANet은 SQuAD에서 순환 모델과 비슷한 정확도를 달성하는 한편 학습 속도(3x–13x)와 추론 속도(4x–9x)에서 큰 속도 향상을 제공합니다.
• 백트랜스레이션(backtranslation) 데이터 증강을 사용하면 단일 QANet 모델이 SQuAD 테스트 세트에서 84.6 F1에 도달하여 이전 최고 성능을 넘습니다.
• 소거 분석은 합성곱 인코더와 자기 주의가 모두 성능에 의미 있게 기여하며, 분리 가능한 합성곱은 일반화 성능을 향상시킵니다.
• 데이터 증강(×3)은 개발 세트 EM/F1을 75.1/83.8로, 테스트 세트 EM/F1을 76.2/84.6으로 향상시키고, 원본과 증강 데이터를 최적으로 샘플링하는 것이 최상의 결과를 낳습니다.
• QANet은 SQuAD의 적대적 예제에 대해 견고함을 보이며 AddSent/AddOneSent 공격에서 강력한 기준선에 대해 경쟁력 있는 F1을 달성합니다.