[논문 리뷰] Neural Speed Reading with Structural-Jump-LSTM

Christian Hansen|arXiv (Cornell University)|2019. 03. 20.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 정적 단어 수준 건너뛰기와 구두점 기반 점프를 조합하여 정확도를 훼손하지 않으면서 FLOP 사용을 줄이는 최초의 신경 속독 모델인 Structural-Jump-LSTM을 제안한다. 이 모델은 IMDB 및 DBPedia에서 기존 LSTMs에 비해 정확도를 유지하거나 향상시키면서 최대 7.0x의 FLOP 절감을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) can model natural language by sequentially 'reading' input tokens and outputting a distributed representation of each token. Due to the sequential nature of RNNs, inference time is linearly dependent on the input length, and all inputs are read regardless of their importance. Efforts to speed up this inference, known as 'neural speed reading', either ignore or skim over part of the input. We present Structural-Jump-LSTM: the first neural speed reading model to both skip and jump text during inference. The model consists of a standard LSTM and two agents: one capable of skipping single words when reading, and one capable of exploiting punctuation structure (sub-sentence separators (,:), sentence end symbols (.!?), or end of text markers) to jump ahead after reading a word. A comprehensive experimental evaluation of our model against all five state-of-the-art neural reading models shows that Structural-Jump-LSTM achieves the best overall floating point operations (FLOP) reduction (hence is faster), while keeping the same accuracy or even improving it compared to a vanilla LSTM that reads the whole text.

연구 동기 및 목표

• 추론 중 계산 비용을 줄이되 모델 정확도를 떨어뜨리지 않는 신경 속독 모델을 개발하는 것.
• 재귀 신경망에서 단어 수준의 건너뛰기와 구조 인식 점프를 동시에 가능하게 하여 더 효율적인 텍스트 처리를 실현하는 것.
• 고정된 예산이나 히ュ리스틱 기반이 아니라 언어적 구조(예: 구두점)에 기반해 건너뛰기 및 점프 지점을 동적으로 결정하는 것.
• 다양한 NLP 벤치마크에서 기존 속독 모델에 비해 FLOP 절감과 정확도 유지 측면에서 모두 뛰어난 성능을 내는 것.

제안 방법

• 읽은 이후 단어를 건너뛸지 결정하는 스킵 에이전트와, 구두점을 활용해 다음으로 점프할 위치를 정하는 점프 에이전트를 도입한다.
• 구두점 기호(예: .!?;,:)를 사용해 다음 서브문장 구분자, 문장 종료 또는 텍스트 종료 지점으로 유동적으로 간격을 두고 점프를 정의한다.
• 표준 LSTMs를 핵심 시퀀스 인코더로 사용하며, 건너뛴 단어를 제외한 처리된 단어에 대해서만 상태 업데이트를 수행한다.
• 정확도 및 FLOP 절감을 최적화하기 위해 강화학습 프레임워크를 활용해 스킵 및 점프 에이전트를 훈련시킨다.
• 백프로파게이션 중 이산적 결정인 스킵 및 점프를 처리하기 위해 미분 가능 Gumbel-Softmax 샘플링 전략을 적용한다.
• 스킵 또는 점프 결정을 확률적 행동으로 간주하여 기울기 기반 최적화를 통해 엔드 투 엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 신경 속독 모델이 언어적 구조적 신호를 활용해 동시에 개별 단어를 건너뛰고 중요하지 않은 텍스트 세그먼트를 점프할 수 있는가?
• RQ2 단어 수준의 건너뛰기와 구두점 기반 점프를 조합하면 기존 방법에 비해 더 큰 FLOP 절감을 이룰 수 있으며, 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 Structural-Jump-LSTM의 성능은 다양한 NLP 벤치마크에서 FLOP 절감과 정확도 측면에서 최신 기술 대비 어떻게 비교되는가?
• RQ4 모델은 다양한 텍스트 복잡도와 구조를 가진 다양한 NLP 작업에 일반화될 수 있는가?
• RQ5 고정 예산 또는 블록 기반 점프 방법에 비해 유동적이고 구조 기반의 점프가 훈련 안정성과 추론 효율성 향상에 기여하는가?

주요 결과

• Structural-Jump-LSTM는 IMDB 및 DBPedia 데이터셋에서 기존 라이트닝 LSTMs와 동일하거나 높은 정확도를 유지하면서 최대 7.0x의 FLOP 절감을 달성한다.
• AG News 데이터셋에서는 FLOPs를 2.4배 감소시키며 기존 LSTMs에 비해 정확도를 0.003 향상시킨다.
• CBT-NE에서는 FLOPs를 4.1배 감소시키고 정확도를 0.010 향상시키며, CBT-CN에서는 FLOPs를 3.9배 감소시키고 정확도를 0.007 향상시킨다.
• IMDB에서 모델은 전체 단어의 70.7%를 건너뛰고 전체 텍스트의 19.7%를 점프하여 유효 독서 길이를 크게 줄인다.
• 모든 벤치마크에서 Structural-Jump-LSTM는 FLOP 절감과 정확도 측면에서 모두 다섯 가지 최신 기술 속독 모델을 모두 능가한다.
• 언어적 구조에 기반한 동적 스킵 및 점프를 조합하면 고정 예산 또는 블록 기반 접근 방식에 비해 뛰어난 효율성과 효과성을 확보할 수 있음을 입증한다.