[논문 리뷰] Regularization and nonlinearities for neural language models: when are they needed?

Marius Pachitariu, Maneesh Sahani|arXiv (Cornell University)|2013. 01. 23.

Topic Modeling참고 문헌 15인용 수 32

한 줄 요약

이 논문은 비선형성과 비대칭 순환 연결을 갖지 않는 간소화된 선형 RNN 버전인 인풋 응답 언어 모델(Impulse-Response Language Model, IRLM)을 소개한다. 랜덤 드롭아웃과 컬럼 정규화 등의 정규화 기법을 통해 펜 트리뱅크에서 최고 성능(102.5 퍼플렉서티)을 달성한다. 낮은 모델 용량에도 불구하고, 장기적 문맥 단위(Long-Context Units, LCUs)를 학습함으로써 장기 문맥 이해 과제에서 비선형 RNN을 능가하며, MRSC 벤치마크에서 60.8%의 정확도를 기록하여 이전 모델을 초월한다. 이는 아키텍처 단순화와 집중적 정규화를 통해 모델의 해석 가능성과 장거리 의존성 처리 능력을 향상시킬 수 있음을 보여준다.

ABSTRACT

Neural language models (LMs) based on recurrent neural networks (RNN) are some of the most successful word and character-level LMs. Why do they work so well, in particular better than linear neural LMs? Possible explanations are that RNNs have an implicitly better regularization or that RNNs have a higher capacity for storing patterns due to their nonlinearities or both. Here we argue for the first explanation in the limit of little training data and the second explanation for large amounts of text data. We show state-of-the-art performance on the popular and small Penn dataset when RNN LMs are regularized with random dropout. Nonetheless, we show even better performance from a simplified, much less expressive linear RNN model without off-diagonal entries in the recurrent matrix. We call this model an impulse-response LM (IRLM). Using random dropout, column normalization and annealed learning rates, IRLMs develop neurons that keep a memory of up to 50 words in the past and achieve a perplexity of 102.5 on the Penn dataset. On two large datasets however, the same regularization methods are unsuccessful for both models and the RNN's expressivity allows it to overtake the IRLM by 10 and 20 percent perplexity, respectively. Despite the perplexity gap, IRLMs still outperform RNNs on the Microsoft Research Sentence Completion (MRSC) task. We develop a slightly modified IRLM that separates long-context units (LCUs) from short-context units and show that the LCUs alone achieve a state-of-the-art performance on the MRSC task of 60.8%. Our analysis indicates that a fruitful direction of research for neural LMs lies in developing more accessible internal representations, and suggests an optimization regime of very high momentum terms for effectively training such models.

연구 동기 및 목표

• 비선형성과 정규화 중 어떤 것이 신경 언어 모델 성능 향상의 주요 원인인지 조사하기.
• 적절히 정규화된 간단한 선형 RNN 아키텍처가 비선형 RNN을 따라잡거나 능가할 수 있는지 평가하기.
• 더 해석 가능한 내부 표현—특히 장기 문맥 단위(Long-Context Units, LCUs)—가 장거리 의존성 이해가 필요한 과제에서 성능 향상에 기여할 수 있는지 탐색하기.
• 소규모 및 대규모 학습 데이터 환경에서 정규화 또는 모델 용량이 성능에 미치는 영향이 지배적인 조건을 규명하기.

제안 방법

• 재귀 매트릭스에 자가 연결만을 갖는 선형 RNN인 인풋 응답 언어 모델(IRLM)을 제안하며, 각 유닛의 자가 연결 강도는 -1에서 1 사이의 학습 가능한 파라미터로 설정된다.
• 랜덤 드롭아웃, 컬럼 정규화, 점진적 학습률 감소를 적용하여 IRLM 및 비선형 RNN 모두를 정규화함으로써 소규모 데이터셋에서 일반화 성능을 향상시킨다.
• 장기 문맥 단위(LCUs)와 단기 문맥 단위를 별도로 설계한 수정된 IRLM을 제안하며, LCUs가 높은 자가 연결 값(0.7–1.0)을 유지하도록 강제하여 장기 기억을 보존한다.
• 대규모 데이터셋인 프로젝트 구니버그에서 노이즈 대비 추정(NCE)을 사용해 훈련함으로써 대규모 텍스트 코퍼스에서의 효율적 훈련을 가능하게 한다.
• 소규모 데이터셋인 펜 트리뱅크와 대규모 데이터셋인 마이크로소프트 리서치 문장 보완(MRSC) 과제에서 성능을 평가하여 일반화 능력과 장기 문맥 처리 능력을 비교한다.
• LCUs를 분리하여 분석하고 예측 능력을 독립적으로 측정함으로써 학습된 표현을 분석하며, LCUs만으로도 MRSC 과제에서 최고 성능을 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 비선형 RNN이 선형 모델보다 성능이 뛰어나게 되는 데 기여하는 주된 원인이 더 나은 정규화인지 높은 모델 용량인지?
• RQ2 적절히 정규화된 간소화된 선형 RNN 아키텍처(IRLM)가 비선형 RNN을 따라잡거나 능가할 수 있는가?
• RQ3 선형 모델 내에서 장기 문맥 단위(LCUs)가 언어 내 장거리 의존성을 얼마나 잘 포착하고 활용할 수 있는가?
• RQ4 동일한 데이터셋에서 IRLM이 MRSC 과제에서 비선형 RNN을 능가하는 이유는 무엇인가? (비록 같은 데이터셋에서 20% 높은 퍼플렉서티를 기록함)
• RQ5 신경 언어 모델의 내부 표현을 아키텍처 설계를 통해 더 해석 가능하고 접근 가능하게 만들 수 있는가?

주요 결과

• IRLM은 랜덤 드롭아웃, 컬럼 정규화, 점진적 학습률 감소를 적용한 후 펜 트리뱅크 데이터셋에서 테스트 퍼플렉서티 102.5를 기록하며, 비선형 RNN과 동등한 성능을 달성한다.
• MRSC 문장 이해 과제에서 IRLM은 52.5%의 정확도를 기록하며, NCE로 훈련된 RNN-LM(~50%)을 능가한다. 이는 더 나은 의미 통합 능력을 의미한다.
• 예측에 장기 문맥 단위(LCUs)만을 사용할 경우, IRLM은 MRSC 과제에서 60.8%의 정확도를 기록하며, 이는 이전 최고 성능인 54.7%를 초월하고 새로운 최고 성능을 수립한다.
• IRLM은 자가 연결 강도가 0.7에서 0.9 사이인 유닛을 통해 과거 최대 50단어의 기억을 유지하는 방식으로 장기 문맥 저장을 효과적으로 수행한다.
• 비슷한 조건에서 RNN-LM은 에코 스테이트 초기화를 사용하더라도 장기 문맥 표현을 유지하지 못하며, 이는 IRLM의 아키텍처 단순화가 더 안정적이고 접근 가능한 장거리 기억을 가능하게 한다는 것을 시사한다.
• 이 연구는 모델 용량을 늘리지 않고도, 아키텍처 제약을 통해 더 접근 가능한 내부 표현을 설계함으로써 모델의 해석 가능성과 장기 문맥 과제 성능 향상을 높일 수 있음을 입증한다.