[논문 리뷰] Multiscale sequence modeling with a learned dictionary

Bart van Merriënboer, Amartya Sanyal외 2명|arXiv (Cornell University)|2017. 07. 03.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 BPE 유사 알고리즘을 통해 학습된 사전을 사용하여 단일 문자나 단어가 아닌 다중 기호 토큰을 예측하는 다중 척도 시퀀스 모델을 제안한다. 문자 수준 모델의 유연성과 단어 수준 모델의 효율성을 결합함으로써, 특히 작은 모델에서 언어 모델링 성능을 향상시켰으며, 표준 LSTMs를 능가하면서도 동적 프로그래밍을 통해 계산 가능성을 유지한다.

ABSTRACT

We propose a generalization of neural network sequence models. Instead of predicting one symbol at a time, our multi-scale model makes predictions over multiple, potentially overlapping multi-symbol tokens. A variation of the byte-pair encoding (BPE) compression algorithm is used to learn the dictionary of tokens that the model is trained with. When applied to language modelling, our model has the flexibility of character-level models while maintaining many of the performance benefits of word-level models. Our experiments show that this model performs better than a regular LSTM on language modeling tasks, especially for smaller models.

연구 동기 및 목표

• 문자 수준 및 단어 수준 시퀀스 모델의 한계를 해결하기 위해 이들의 장점을 결합한 하이브리드 접근법을 도입하기 위해.
• RNN의 장기적 의존성과 소프트맥스 포화 현상으로 인한 학습 곤란을 해결하기 위해 더 길고 의미 있는 서브워드 단위를 모델링함으로써.
• OOV(어휘 외 단어) 처리를 위해 문자 수준 모델의 유연성을 유지하면서도, 구조화된 토큰화를 통해 성능을 향상시키기 위해.
• 다양한 가능한 분할 방식에 대해 동적 프로그래밍을 적용하여 효율적이고 계산 가능한 가능도 계산을 가능하게 하기 위해.

제안 방법

• 모델는 BPE 유사 알고리즘을 통해 학습된 다중 기호 토큰 사전을 사용하여 다중 척도에서 시퀀스를 표현한다.
• 각 타임스텝에서 모델은 현재 시퀀스의 접미사와 일치하는 모든 유효한 토큰에 대해 예측을 수행하며, 이는 겹침과 계층적 예측을 허용한다.
• 전이 함수 f와 임bedding xi를 사용하여 모든 일치하는 토큰에 대한 RNN 출력의 평균을 기반으로 은닉 상태를 계산한다.
• 가능도는 모든 유효한 시퀀스 분할에 대해 근사화하는 동적 프로그래밍을 사용하여 계산된다.
• 모델은 RNN(예: LSTM)을 사용하여 맥락을 유지하며, 은닉 상태 ht는 사전에 있는 최근 토큰들에 기반하여 업데이트된다.
• 가능도는 CTC 및 전진-후진 알고리즘과 유사하게 경사 하강법을 통해 직접 최적화되어 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 단일 기호 대신 다중 기호 토큰을 예측하는 시퀀스 모델이 표준 문자 수준 또는 단어 수준 모델보다 더 나은 성능을 내는가?
• RQ2 학습된 BPE 유사 사전의 사용이 모델링 효율성과 일반화 능력에 어떤 영향을 미치는가? 특히 희귀 또는 미리 보지 못한 단어에 대해.
• RQ3 각 타임스텝에서 다중 겹침 토큰 예측을 허용하면서도 가능도 계산이 계산 가능하게 유지되는가?
• RQ4 다중 척도 접근법이 장기적 의존성과 소프트맥스 포화 현상과 관련된 학습 곤란을 어느 정도 감소시키는가?
• RQ5 표준 언어 모델링 벤치마크에서 이 모델의 성능은 MI-LSTM 및 td-LSTM과 같은 최신 RNN 변종과 비교해 어떻게 되는가?

주요 결과

• 제안된 다중 척도 모델은 특히 작은 아키텍처에서 표준 LSTM 언어 모델을 능가하며, 더 나은 샘플 효율성을 보여준다.
• 모델는 시퀀스를 모델링하기 위해 필요한 전이 수를 줄임으로써 학습 곤란을 완화시킴으로써 문자 수준 모델보다 더 나은 성능을 달성한다.
• BPE 유사 사전의 사용은 OOV 단어를 효과적으로 처리할 수 있게 하여 문자 수준 모델의 유연성을 유지한다.
• 동적 프로그래밍을 통해 가능도 계산이 계산 가능하며, 직접 최적화가 가능하고 모든 유효한 분할에 대해 근사화할 수 있다.
• text8 데이터셋에서 경쟁 가능한 성능을 기록하였으며, HM-LSTM과 같은 최신 모델에 가까운 성능을 보였지만 이를 초월하지는 못했다.
• 이 접근법은 다른 아키텍처로도 잘 일반화되며, 더 깊거나 더 복잡한 RNN 변종을 사용할 경우 성능 향상 잠재력이 있다.