[논문 리뷰] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension

Adams Wei Yu, D. Dohan외 5명|arXiv (Cornell University)|2018. 04. 23.

Topic Modeling인용 수 440

한 줄 요약

QANet은 순환 신경망을 사용하지 않고 합성곱과 자기 주의를 활용한 피드포워드 아키텍처를 통해 SQuAD에서 최첨단 정확도를 달성하는 동시에 교육 및 추론 속도를 몇 배로 빠르게 만들며, 역번역을 통한 데이터 증강으로 결과를 더욱 향상시킵니다.

ABSTRACT

Current end-to-end machine reading and question answering (Q\\&A) models are primarily based on recurrent neural networks (RNNs) with attention. Despite their success, these models are often slow for both training and inference due to the sequential nature of RNNs. We propose a new Q\\&A architecture called QANet, which does not require recurrent networks: Its encoder consists exclusively of convolution and self-attention, where convolution models local interactions and self-attention models global interactions. On the SQuAD dataset, our model is 3x to 13x faster in training and 4x to 9x faster in inference, while achieving equivalent accuracy to recurrent models. The speed-up gain allows us to train the model with much more data. We hence combine our model with data generated by backtranslation from a neural machine translation model. On the SQuAD dataset, our single model, trained with augmented data, achieves 84.6 F1 score on the test set, which is significantly better than the best published F1 score of 81.8.

연구 동기 및 목표

• RNN의 느린 학습/추론 시간으로 인해 빠른 독해 모델의 필요성을 제시한다.
• 로컬 및 글로벌 텍스트 상호작용을 포착하기 위해 합성곱과 자기 주의로 구성된 인코더 아키텍처를 제안한다.
• 속도 향상이 SQuAD에서 정확도를 향상시키기 위한 더 큰 규모의 데이터 증강을 가능하게 함을 보인다.

제안 방법

• 깊이별 분리 합성곱, 다중-헤드 자기 주의, 잔차 연결 및 층 정규화를 갖는 피드포워드 계층으로 구성된 인코더 블록.
• 삼중선 유사도와 추가적인 쿼리-컨텍스트 주의로 구성된 컨텍스트-쿼리 주의.
• 컨텍스트와 질문에 대해 공유 인코더 가중치를 사용하고, 7개의 모델 인코더 블록과 인코더 내 2개의 합성곱 블록으로 구성.
• 컨텍스트 위치에 대한 소프트맥스 분포를 통해 시작/끝 위치를 예측하는 출력층.
• 역번역(영어↔프랑스어/영어↔독일어)을 이용한 데이터 증강으로 패러프레이즈 학습 예제를 생성하고 일반화 성능을 향상.

실험 결과

연구 질문

• RQ1 합성곱과 자기 주의만으로 구성된 비순환 인코더가 RNN 기반 모델과 비교해 SQuAD에서 경쟁력 있거나 우수한 정확도를 달성할 수 있는가?
• RQ2 정확도를 희생하지 않으면서 학습 및 추론에서 어느 정도의 속도 향상을 얻을 수 있는가?
• RQ3 역번역 기반 데이터 증강이 SQuAD에서 QA 성능을 향상시키고, 어떤 데이터 혼합이 최적의 결과를 내는가?

주요 결과

• QANet은 SQuAD에서 순환 모델과 비교 가능한 정확도를 달성하면서 학습 시간은 3배~13배, 추론은 4배~9배의 상당한 속도 향상을 제공합니다.
• SQuAD에서 증강 데이터를 사용해 학습한 단일 QANet 모델은 테스트 세트에서 84.6 F1를 달성하며 이전 최상치를 넘어섭니다.
• 역번역 보강(×3)을 사용한 증강으로 얻은 모델은 가장 좋은 검증/테스트 결과를 제시합니다(예: 테스트 EM/F1 76.2/84.6).
• 추출에서 합성곱이나 자기 주의 중 하나를 제거하면 성능이 저하되어, 지역적 상호작용과 글로벌 상호작용을 포착하는 보완적 역할이 확인됩니다.
• 데이터 증강은 성능을 향상시키며, 원본 데이터와 증강 데이터 간의 최적 샘플링 비율이 뚜렷한 이점을 제공합니다.