[논문 리뷰] Multi-timescale Representation Learning in LSTM Language Models

Shivangi Mahto, Vy A. Vo외 2명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 36인용 수 7

한 줄 요약

이 논문은 자연어 의존성의 힘의 법칙 감쇠와 일치시키기 위해 기억 유닛의 시간스케일을 조정하는 이론적으로 탄탄한 방법을 제안한다. 이론적 분석에서 유도된 역감마 분포를 忽略 게이트 바이어스에 강제 적용함으로써, 특히 희귀어에 대해 더 낮은 퍼플렉서티를 달성하고, 단위 간 시간스케일에 특화된 정보 라우팅이 가능해져 해석 가능성이 향상된다.

ABSTRACT

Language models must capture statistical dependencies between words at timescales ranging from very short to very long. Earlier work has demonstrated that dependencies in natural language tend to decay with distance between words according to a power law. However, it is unclear how this knowledge can be used for analyzing or designing neural network language models. In this work, we derived a theory for how the memory gating mechanism in long short-term memory (LSTM) language models can capture power law decay. We found that unit timescales within an LSTM, which are determined by the forget gate bias, should follow an Inverse Gamma distribution. Experiments then showed that LSTM language models trained on natural English text learn to approximate this theoretical distribution. Further, we found that explicitly imposing the theoretical distribution upon the model during training yielded better language model perplexity overall, with particular improvements for predicting low-frequency (rare) words. Moreover, the explicit multi-timescale model selectively routes information about different types of words through units with different timescales, potentially improving model interpretability. These results demonstrate the importance of careful, theoretically-motivated analysis of memory and timescale in language models.

연구 동기 및 목표

• LSTM 언어 모델이 다중 시간스케일에서 시간적 의존성을 어떻게 포착하는지 이해하기 위해.
• 자연어의 단어 의존성 감쇠를 모델링하기 위해 이론적으로 최적의 시간스케일 분포를 도출하기 위해.
• 학습 중에 이 이론적 시간스케일 분포를 명시적으로 강제 적용하여 언어 모델 성능을 향상시키기 위해.
• 희귀어 대비 빈도가 높은 어휘와 같은 다양한 유형의 단어가 특정 시간스케일을 가진 단위를 통해 선택적으로 라우팅되는지 조사하기 위해.
• 단위의 시간스케일을 기능적 역할과 연결하여 정보 처리 과정에서의 기능적 역할을 명확히 하여 모델의 해석 가능성 향상시키기 위해.

제안 방법

• LSTM 유닛의 忽略 게이트 바이어스와 기억 유지 시간스케일 간의 이론적 프레임워크를 유도한다.
• 자연어에서의 힘의 법칙 감쇠를 모델링하기 위해 최적의 시간스케일 분포가 역감마 분포임을 보여준다.
• 잊기 게이트 바이어스의 역감마 분포를 강제로 구현하기 위해 정규화를 적용한 LSTM 언어 모델을 훈련시킨다.
• 예측 성능 평가를 위해 추론 중 특정 시간스케일 그룹의 단위를 제거(ablation)하는 방법을 사용한다.
• 유닛을 할당된 시간스케일 기준으로 그룹화하고, 각 그룹의 제거가 어휘 빈도 범주별 퍼플렉서티에 미치는 영향을 측정한다.
• 기준 LSTM과 다중시간스케일 LSTM의 성능을 기준 데이터셋(PTB 및 WikiText-2)에서 퍼플렉서티 및 빈도별 지표를 사용해 비교한다.

실험 결과

연구 질문

• RQ1 자연어에서 단어 의존성 감쇠를 최적으로 포착하기 위해 LSTM 유닛의 이론적 시간스케일 분포는 무엇인가?
• RQ2 이 이론적 분포를 명시적으로 강제 적용하면, 특히 장거리 의존성에 대해 언어 모델 성능이 향상되는가?
• RQ3 다른 시간스케일을 가진 유닛들이 희귀어나 빈도가 높은 어휘와 같은 다양한 유형의 어휘를 선택적으로 처리하는가?
• RQ4 다중시간스케일 LSTM 모델에서 정보 라우팅은 명확한 기능적 역할을 하는 각 시간스케일 그룹과 연결되어 있는가?
• RQ5 퍼플렉서티 및 희귀어 예측에 대한 강건성 측면에서 다중시간스케일 아키텍처는 표준 LSTM보다 어떻게 비교되는가?

주요 결과

• 이론적 분석은 자연어 의존성의 힘의 법칙 감쇠를 최적으로 모델링하기 위해 LSTM 유닛의 忽略 게이트 바이어스가 역감마 분포를 따라야 한다고 예측한다.
• 자연 영어(예: PTB 및 WikiText-2)에서 훈련된 표준 LSTM 언어 모델은 시간스케일의 역감마 분포를 근사적으로 학습함으로써 이 이론을 검증한다.
• 잊기 게이트 바이어스에 역감마 분포를 명시적으로 정규화 적용함으로써 총 퍼플렉서티가 감소하며, 특히 빈도가 100회 미만인 희귀어에서 가장 뚜렷한 성능 향상이 관찰된다.
• 아블레이션 연구 결과, 장시간스케일 유닛(100단위 시간 이하)이 희귀어 예측에 가장 중요하며, 단시간스케일 유닛(1단위 시간 이하)이 고빈도어 예측에 가장 기여함을 확인하였다.
• 다중시간스케일 모델은 선택적 정보 라우팅을 보이며, 다양한 어휘 유형이 서로 다른 시간스케일을 가진 기능적 역할을 하는 유닛을 통해 처리되어 해석 가능성이 향상된다.
• 모델 성능 향상은 데이터셋 간 일관되며, 퍼플렉서티 향상과 희귀어 예측에 대한 더 강력한 일반화 능력이 측정되었다.