[논문 리뷰] Fast Reading Comprehension with ConvNets

Felix Wu, Ni Lao외 3명|arXiv (Cornell University)|2017. 11. 12.

Topic Modeling참고 문헌 4인용 수 17

한 줄 요약

이 논문은 독해 작업에서 순환 신경망(RNN)의 빠른 대안으로, 게이팅 선형 확장 잔차 신경망(GLDR)이라고 불리는 컨volutional 신경망 아키텍처를 제안한다. LSTMs를 확장된 컨볼루션과 게이팅 선형 유닛으로 대체함으로써, SQuAD와 TriviaQA에서 최신 기술 성능(SOTA)을 달성하면서도 추론 시간을 최대 두 계단 감소시켜, 지연 민감한 응용 분야에서 실시간 배포를 가능하게 한다.

ABSTRACT

State-of-the-art deep reading comprehension models are dominated by recurrent neural nets. Their sequential nature is a natural fit for language, but it also precludes parallelization within an instances and often becomes the bottleneck for deploying such models to latency critical scenarios. This is particularly problematic for longer texts. Here we present a convolutional architecture as an alternative to these recurrent architectures. Using simple dilated convolutional units in place of recurrent ones, we achieve results comparable to the state of the art on two question answering tasks, while at the same time achieving up to two orders of magnitude speedups for question answering.

연구 동기 및 목표

• 검색 엔진과 모바일 어시스턴트와 같은 응용 분야에서 실시간 배포를 방해하는 독해 작업에서 순환 신경망(RNN)의 높은 추론 지연을 해결하기 위해.
• 큰 수신 필드를 가진 컨볼루션 아키텍처가 순차적 RNN이 필요 없이 텍스트 내 장거리 의존성을 효과적으로 모델링할 수 있는지 탐색하기 위해.
• 추론 중에 계산 비용과 메모리 사용량을 크게 줄이면서도 높은 답변 정확도를 유지하는 모델을 개발하기 위해.
• 확장된 컨볼루션과 잔차 및 게이팅 유닛이 최신 기술 RNN 기반 모델의 성능을 따라하거나 초월할 수 있는지 보여주기 위해.

제안 방법

• 컨볼루션 커널의 수신 필드를 확장하기 위해 확장된 컨볼루션을 사용하여 파rameter 수를 늘리지 않고도 장거리 의존성 모델링이 가능하다.
• 컨볼루션 이후 게이팅 선형 유닛(GLUs)을 적용하여 동적 특징 게이팅을 학습함으로써 ReLU보다 표현 능력이 향상된다.
• 잔차 연결을 사용하여 학습을 안정화시키고 깊은 아키텍처를 가능하게 하여 기울기 소실 문제를 방지한다.
• BiDAF와 DrQA 스타일의 독해 프레임워크에 모두 적용하여, LSTM 인코더를 GLDR 블록으로 대체한다.
• 정답 스파니 스파이크 예측 손실을 사용하여 SQuAD와 TriviaQA에서 엔드 투 엔드로 학습한다.
• 시퀀스 전역에서 컨볼루션 연산을 병렬화함으로써 추론을 가속화하여 RNN의 순차적 병목 현상을 제거한다.

실험 결과

연구 질문

• RQ1 확장된 컨볼루션을 사용하는 컨볼루션 아키텍처가 독해 작업에서 순환 신경망을 효과적으로 대체할 수 있는가?
• RQ2 게이팅 선형 유닛과 잔차 연결을 사용하면 비순차적, 컨볼루션 기반 환경에서 성능 향상이 이루어지는가?
• RQ3 확장된 컨볼루션을 통해 RNN과 비교해 유사한 성능를 달성하면서도 추론 지연을 얼마나 줄일 수 있는가?
• RQ4 문서 길이가 증가함에 따라 모델 성능이 어떻게 변화하는가? 특히 자기 어텐션 메커니즘과 비교했을 때 어떻게 되는가?
• RQ5 경량이며 빠른 추론 모델이 대규모 독해 벤치마크에서 최신 기술 정확도를 유지할 수 있는가?

주요 결과

• GLDR 기반 모델은 SQuAD와 TriviaQA 양쪽 모두에서 최신 기술 성능(SOTA)을 달성하며, 최고의 공개된 RNN 기반 모델과 유사하거나 약간 뒤지지 않는다.
• TriviaQA의 위키백과 분할에서, 컨볼루션 기반 DrQA 모델은 이전의 SOTA와 비슷한 성능을 유지하면서도 훨씬 더 빠른 성능을 보였다.
• LSTM 기반 기준 모델 대비 추론 시간을 최대 두 계단 감소시켜 실시간 배포를 가능하게 했다.
• GLDR 모델의 메모리 사용량은 시퀀스 길이에 따라 선형적으로 증가하지만, 자기 어텐션 메커니즘의 제곱형 증가와는 대비되어 더 긴 문서에 대해 확장 가능하다.
• 제거 실험 결과 잔차 연결이 수렴에 필수적이며, GLUs가 비선형 활성화에서 ReLU를 능가한다는 것이 확인되었다.
• 모델은 평균적으로 매 33번째 토큰만 인코딩하면 되며, 이는 큰 수신 필드를 통해 장거리 맥락을 효율적으로 포착하고 있음을 시사한다.