[논문 리뷰] Dynamic Evaluation of Neural Sequence Models

Ben Krause, Emmanuel Kahembwe외 2명|arXiv (Cornell University)|2017. 09. 21.

Topic Modeling참고 문헌 32인용 수 60

한 줄 요약

동적 평가가 최근 이력에 대한 그래디언트 기반 업데이트를 테스트 시점에 적응적으로 수행하여 여러 언어 모델 벤치마크에서 최첨단 perplexities 및 cross-entropies를 달성한다.

ABSTRACT

We present methodology for using dynamic evaluation to improve neural sequence models. Models are adapted to recent history via a gradient descent based mechanism, causing them to assign higher probabilities to re-occurring sequential patterns. Dynamic evaluation outperforms existing adaptation approaches in our comparisons. Dynamic evaluation improves the state-of-the-art word-level perplexities on the Penn Treebank and WikiText-2 datasets to 51.1 and 44.3 respectively, and the state-of-the-art character-level cross-entropies on the text8 and Hutter Prize datasets to 1.19 bits/char and 1.08 bits/char respectively.

연구 동기 및 목표

• 연속에서의 로컬 분포 변화(local distribution shifts)를 포착하기 위한 그래디언트 기반 테스트 시점 적응 메커니즘을 동기부여하고 개발한다.
• 최근 이력에 적응하는 것이 정적 모델 및 기존 적응 방법보다 예측 성능을 향상시킨다는 것을 보여준다.
• 단어 수준 및 문자 수준 언어 모델링 벤치마크에서 방법을 평가하고 시간 규모(time-scale) 효과를 분석한다.
• 적응 매개변수 및 계산을 줄이기 위한 Dynamic Evaluation의 실용적 개선점을 제안한다.

제안 방법

• 긴 테스트 시퀀스를 세그먼트로 나누고 각 세그먼트에서 그래디언트를 계산해 적응 매개변수를 업데이트한다.
• 적응 매개변수 theta_l^0를 학습된 전역 매개변수 theta_g로 초기화한다.
• 다음 세그먼트 전에 세그먼트 손실 L(s_i)을 사용한 그래디언트 기반 업데이트를 적용해 theta_l^i를 얻는다.
• 훈련 시 매개변수로 편향되도록 글로벌 decay prior lambda*(theta_g - theta_l^{i-1})를 도입한다.
• 각 매개변수 업데이트를 스케일링하기 위해 학습 데이터에서 미리 계산된 MS_g(평균 제곱 그래디언트)로 SGD를 대체하는 RMSprop 스타일 업데이트를 사용한다.
• 적응 매개변수 수를 줄이기 위해 은닉 상태를 교란시키는 작은 적응 행렬 M을 학습해(h'_t = h_t + M h_t) 희소한 Dynamic Evaluation을 구현한다.
• 실험에서 RMS + RMS 글로벌 프라이어가 가장 좋은 성능을 보여 여러 업데이트 규칙을 제공하고 비교한다.

실험 결과

연구 질문

• RQ1 동적 평가가 정적 평가 및 이전의 적응 접근법보다 언어 모델링 성능을 향상시키는가?
• RQ2 다단어 및 문자 수준 작업 전반에서 Dynamic Evaluation에 대해 효과적인 업데이트 규칙(SGD 대 RMSprop, 글로벌 프라이어 포함/제외)은 무엇인가?
• RQ3 동적 평가가 서로 다른 시간 규모 및 분포 변화에서 어떻게 동작하는가?
• RQ4 성능 저하 없이 계산 효율성을 높일 수 있는(예: 희소 동적 평가) 방법으로 적응을 만들 수 있는가?

주요 결과

• Dynamic evaluation은 AWD-LSTM 기본 모델에서 PTB의 perplexity를 51.1로, LSTM 변형에서 51.6/51.1로 향상시키며 이 설정에서 neural cache를 능가한다.
• WikiText-2에서 dynamic evaluation은 44.3 perplexity를 달성하여 관련 적응 방법들보다 현저히 우수하다.
• 문자 수준 결과는 text8에서 1.19 bits/char, Hutter Prize 데이터셋에서 1.08 bits/char를 달성했고, sparse dynamic evaluation은 Hutter Prize에서 1.13 bits/char를 달성한다.
• 희소적 동적 평가가 적응 매개변수의 0.5%만 사용하면서도 큰 이득을 제공한다(예: Hutter Prize에서 1.13 bits/char).
• 다이나믹 평가의 성능 향상은 몇 백 자를 처리한 후에 나타나며 시퀀스가 계속될수록 개선을 유지할 수 있으며 특히 교차 도메인 변화(예: 스페인어 데이터)에서 두드러진다.
• 동적으로 평가된 모델에서 생성된 조건부 샘플은 적응 중에 학습된 더 긴 범위의 반복성과 지역적 규칙성을 반영한다.