[논문 리뷰] FastFusionNet: New State-of-the-Art for DAWNBench SQuAD

Felix Wu, Boyi Li외 4명|ArXiv.org|2019. 02. 28.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

FastFusionNet는 SQuAD에서 읽기 이해를 위한 FusionNet의 계산 효율성이 높은 변종을 제안하며, 비용이 많이 드는 CoVe 임베딩과 BiLSTM을 경량 SRU 레이어로 대체한다. 이는 훈련 및 추론 속도에서 최고 수준을 달성하며, F1 점수가 75%에 도달하는 데 18분이 걸리고 지연 시간이 7.9ms에 불과하여, 기존 DAWNBench SQuAD 벤치마크에서 가장 빠른 모델이 되었다.

ABSTRACT

In this technical report, we introduce FastFusionNet, an efficient variant of FusionNet [12]. FusionNet is a high performing reading comprehension architecture, which was designed primarily for maximum retrieval accuracy with less regard towards computational requirements. For FastFusionNets we remove the expensive CoVe layers [21] and substitute the BiLSTMs with far more efficient SRU layers [19]. The resulting architecture obtains state-of-the-art results on DAWNBench [5] while achieving the lowest training and inference time on SQuAD [25] to-date. The code is available at https://github.com/felixgwu/FastFusionNet.

연구 동기 및 목표

• 정확도보다 속도에 중점을 둔 고성능 읽기 이해 모델에서의 계산 효율성 부족 문제를 해결한다.
• SQuAD에서 성능을 훼손하지 않고 읽기 이해 모델의 훈련 및 추론 시간을 단축시킨다.
• 훈련 및 추론 속도 측면에서 DAWNBench SQuAD 벤치마크에서 최고 성능을 달성한다.
• 계산 비용이 큰 구성 요소인 CoVe 임베딩과 BiLSTM을 더 효율적인 대체 요소로 교체함으로써 FusionNet을 최적화한다.
• 정확도 손실이 크지 않은 채로 효율성 향상을 달성할 수 있음을 입증하며, 이는 이전 SOTA 모델과 비교해 유사한 F1 점수를 유지한다.

제안 방법

• 비용이 많이 드는 문맥 인코딩을 제거하기 위해 CoVe 임베딩을 표준 사전 훈련된 단어 벡터로 대체한다.
• 병렬 처리를 가능하게 하기 위해 BiLSTM 레이어를 단순 순환 단위(SRUs)로 교체한다.
• SRUs에서 벡터 합산 방식의 순환을 사용하여 은닉 상태의 병렬 계산을 가능하게 하여 순차적 병목 현상을 줄인다.
• 주의 메커니즘과 융합 아키텍처는 FusionNet과 동일하게 유지하지만, SRU의 효율성 덕분에 추론을 최적화한다.
• 단일 정밀도 부동소수점 연산을 사용하고, 순차적 특징에 대해 변동형 드롭아웃을 적용하여 PyTorch v0.3.1에서 모델을 구현한다.
• 60 에포크에서 조기 정지 기능을 적용한 100 에포크 동안 훈련하며, 기존 연구에서 사용된 고정된 초모수를 사용하고 Adam 옵티마이저와 기울기 클리핑을 적용한다.

실험 결과

연구 질문

• RQ1 고성능 읽기 이해 모델의 계산 효율성을 성능 손실 없이 크게 향상시킬 수 있는가?
• RQ2 CoVe와 BiLSTM을 SRUs로 교체하면 SQuAD에서 훈련 및 추론 속도에 어떤 영향을 미치는가?
• RQ3 DAWNBench SQuAD 벤치마크에서 훈련 속도를 최고 수준으로 달성하면서도 경쟁력 있는 F1 점수를 유지할 수 있는가?
• RQ4 특히 BERT와 BiDAF와 비교했을 때, 아키텍처 변경이 추론 지연 시간에 어떤 영향을 미치는가?
• RQ5 읽기 이해를 위한 시퀀스 모델링에서 아키텍처 단순화를 통해 얼마나 많은 효율성 향상을 달성할 수 있는가?

주요 결과

• FastFusionNet는 SQuAD 개발 세트에서 단 18분 46초(4 에포크) 만에 F1 점수 75%를 달성하여 이전 DrQA(ParlAI) 선두 모델 대비 45%의 속도 향상을 기록했다.
• 1개 예측에 대한 추론 지연 시간을 7.9ms로 줄여 BERT-base 대비 2.8배, BiDAF 대비 12.7배 더 빠르게 하였다.
• F1 점수가 82.5%로 동일한 성능을 유지하면서도, 원래 FusionNet 대비 추론 시간에서 5.8배의 속도 향상을 달성하였다.
• 모델 아키텍처가 동일한 다른 요소들에 비해, 에포크당 훈련 시간이 FusionNet 대비 2.6배 더 빠르게 되었다.
• 유사한 GPU(V100) 환경에서, FastFusionNet은 DrQA(ParlAI) 대비 훈련 시간에서 3.1배의 속도 향상을 기록하였다.
• 완전 훈련 후에도 F1 점수 82.5%를 유지하여, CoVe를 제거한 후에도 FusionNet의 성능을 그대로 유지하였다.