[논문 리뷰] Neural Speed Reading via Skim-RNN

Minjoon Seo, Sewon Min외 2명|arXiv (Cornell University)|2017. 11. 06.

Topic Modeling참고 문헌 19인용 수 54

한 줄 요약

Skim-RNN은 더 작은 RNN을 사용하여 중요하지 않은 입력 토큰을 동적으로 스킴-피드하는 RNN 변형으로, 계산을 줄이면서 정확도를 유지하거나 향상시키고 추론 시 제어 가능한 속도 및 CPU 친화적 지연 이점을 제공합니다.

ABSTRACT

Inspired by the principles of speed reading, we introduce Skim-RNN, a recurrent neural network (RNN) that dynamically decides to update only a small fraction of the hidden state for relatively unimportant input tokens. Skim-RNN gives computational advantage over an RNN that always updates the entire hidden state. Skim-RNN uses the same input and output interfaces as a standard RNN and can be easily used instead of RNNs in existing models. In our experiments, we show that Skim-RNN can achieve significantly reduced computational cost without losing accuracy compared to standard RNNs across five different natural language tasks. In addition, we demonstrate that the trade-off between accuracy and speed of Skim-RNN can be dynamically controlled during inference time in a stable manner. Our analysis also shows that Skim-RNN running on a single CPU offers lower latency compared to standard RNNs on GPUs.

연구 동기 및 목표

• 덜 중요한 토큰에 더 적은 계산을 할당하기 위해 인간의 속독을 모방하여 효율적인 시퀀스 처리를 고무한다.
• 표준 RNN과 호환되면서도 서로 대체 가능한 두 경로의 RNN(big read 대 small skim) 개발
• 미분 가능 재매개화를 통해 비미분가능한 하드 결정에도 엔드-투-엔드로 모델을 학습한다.
• 다수의 NLP 태스크에서 부동 소수점 연산 감소와 경쟁력 있는 정확도를 보여준다.
• 추론 시점에 스킴 결정의 조정으로 동적 속도-정확도 트레이드를 보여준다.

제안 방법

• 같은 은닉 상태를 공유하는 큰 'read' 셀과 더 작은 'skim' 셀의 두 RNN 셀로 Skim-RNN을 도입한다.
• 두 옵션의 다항식에 대한 미분가능한 Gumbel-softmax 재매개화를 사용하여 시간마다 스킴 또는 리드에 대한 하드 의사결정을 내린다.
• 스킴이 선택되면 작은 RNN로 은닉 상태의 일부 하위 집합만 업데이트하고 남은 차원은 이전 상태에서 유지한다.
• 의사결정 시퀀스에 대한 기대 손실을 최소화하여 학습하고, 역전파가 가능하도록 Gumbel-softmax를 사용하며 스킴을 촉진하는 패널티를 추가한다.
• 학습 중 의사결정 임계값과 보조 스킴 페널티 항을 조정하여 스킴 비율과 속도를 제어한다.
• Skim-RNN 출력은 표준 RNN 인터페이스와 호환되므로 기존 모델에서 RNN을 쉽게 교체할 수 있다.

실험 결과

연구 질문

• RQ1 Skim-RNN이 NLP 작업 전반에서 작업 정확도를 유지하거나 향상시키면서 계산 비용(Flop-R)을 줄일 수 있는가?
• RQ2 스킴 결정이 토큰 건너뛰기와 비교했을 때 성능에 어떤 영향을 미치며, 실제로 스킴이 건너뛰기를 능가할 수 있는가?
• RQ3 학습이나 추론의 불안정을 초래하지 않으면서 추론 시 속도와 정확도 간의 트레이드오프를 제어할 수 있는가?
• RQ4 일반 NLP 작업에서 CPU 기반 런타임이 Skim-RNN으로 GPU 기반의 표준 RNN보다 지연 이점을 제공하는가?
• RQ5 텍스트 분류 및 질의응답 벤치마크에서 Skim-RNN은 LSTM-Jump 및 VCRNN에 비해 어떤 성과를 보이는가?

주요 결과

• Skim-RNN은 표준 RNN 및 여러 베이스라인에 비해 부동 소수점 연산을 크게 줄이면서 경쟁력 있거나 향상된 정확도를 달성한다.
• 스킴 전략은 토큰 건너뛰기보다 종종 더 나은 정확도-속도 트레이드오프를 제공하여 중요하지 않은 토큰에 주의를 기울이는 이점을 시사한다.
• 추론 시 스킴 임계값 제어를 통해 재학습 없이도 속도와 정확도를 동적으로 조정할 수 있다.
• CPU 기반 Skim-RNN은 여러 데이터셋에서 GPU 기반의 표준 RNN보다 더 낮은 지연을 제공할 수 있어 CPU-centric 배포의 실용적 이점을 강조한다.
• Skim-RNN은 매 시간 단계에서 출력을 유지하므로 구성에 따라 수배의 속도 향상을 제공하면서 기존 RNN 기반 아키텍처에 쉽게 통합 가능하다.