[논문 리뷰] On Evaluating the Generalization of LSTM Models in Formal Languages

Mirac Süzgün, Yonatan Belinkov외 1명|arXiv (Cornell University)|2018. 11. 02.

Topic Modeling참고 문헌 17인용 수 6

한 줄 요약

이 논문은 $a^n b^n$, $a^n b^n c^n$, $a^n b^n c^n d^n$와 같은 형식 언어를 학습할 때 LSTM 모델의 일반화 능력을 평가하기 위해 모든 시퀀스 길이에 걸쳐 훈련 및 테스트 동안 성능을 모니터링한다. 데이터 분포, 훈련 길이 윈도우, 모델 용량이 일반화에 크게 영향을 미치며, 과도하게 파rameter화된 모델은 협동 카운팅 메커니즘 덕분에 향상된 안정성을 보이며, 가중치 초기화는 유사한 손실 값에도 불구하고 수렴에 큰 영향을 미친다.

ABSTRACT

Recurrent Neural Networks (RNNs) are theoretically Turing-complete and established themselves as a dominant model for language processing. Yet, there still remains an uncertainty regarding their language learning capabilities. In this paper, we empirically evaluate the inductive learning capabilities of Long Short-Term Memory networks, a popular extension of simple RNNs, to learn simple formal languages, in particular $a^nb^n$, $a^nb^nc^n$, and $a^nb^nc^nd^n$. We investigate the influence of various aspects of learning, such as training data regimes and model capacity, on the generalization to unobserved samples. We find striking differences in model performances under different training settings and highlight the need for careful analysis and assessment when making claims about the learning capabilities of neural network models.

연구 동기 및 목표

• 표준 고정 테스트 세트 평가를 넘어서, $a^n b^n$, $a^n b^n c^n$, $a^n b^n c^n d^n$와 같은 형식 언어에서 관측되지 않은 시퀀스로의 LSTM 모델 일반화 능력을 조사하기 위해.
• 이전 평가에서 제한된 테스트 세트, 고정 길이 임계값, 또는 균일한 데이터 분포에 의존하는 문제를 해결하기 위해.
• 데이터 분포, 훈련 길이 윈도우, 모델 용량이 일반화 성능와 안정성에 미치는 영향을 분석하기 위해.
• 가중치 초기화와 은닉 상태 동역학이 카운팅 행동 학습 및 수렴에 미치는 역할을 분석하기 위해.
• 모든 시퀀스 길이에 걸쳐 훈련 과정에서의 일반화를 추적할 수 있는 더 세밀한 평가 프로토콜을 제안하기 위해.

제안 방법

• 저자들은 모든 훈련 에포크에서 LSTM 성능을 모니터링하며, 시퀀스 길이를 증가하는 순서로 테스트하여 $k$개의 오류를 내기 전까지 일반화 능력을 평가한다.
• 고정 길이 테스트 세트를 피하기 위해 길이별로 완전한 순열을 사용하여 모든 길이에서 일반화 능력을 평가한다.
• 일반화에 미치는 영향을 평가하기 위해 데이터 분포 제어를 위해 균일, 기하, U자형, 기울어진 분포의 네 가지 제어 조건을 사용한다.
• 훈련 길이 윈도우를 다양하게 조절(예: [1,50], [1,100])하여 범위가 더 긴 또는 더 짧은 시퀀스로의 일반화에 미치는 영향을 연구한다.
• 은닉 유닛 수를 조절하여 모델 용량을 조작하고, 이론적으로 충분한 설정과 과도하게 파rameter화된 설정 간 비교를 수행한다.
• 특히 과도하게 파rameter화된 모델에서의 카운팅 행동을 분석하기 위해 은닉 상태 활성화 동역학을 시각화한다.

실험 결과

연구 질문

• RQ1 균일, 기하, U자형, 기울어진 분포와 같은 데이터 분포 선택이 형식 언어에서 LSTM 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 훈련 길이 윈도우를 넓힐수록 더 긴 시퀀스로의 일반화가 얼마나 향상되는가? 또한 짧은 시퀀스 성능 향상에도 기여하는가?
• RQ3 은닉 유닛 수를 늘려 모델 용량을 증가시키면 일반화 능력이 향상되는가, 아니면 주로 훈련 안정성에 영향을 미치는가?
• RQ4 가중치 초기화가 수렴과 일반화에 어떻게 영향을 미치는가? 특히 손실 값이 유사하게 수렴하는 경우에도 말이다.
• RQ5 은닉 상태 동역학이 형식 언어를 위한 카운팅 메커니즘 학습에 어떻게 기여하는가?

주요 결과

• U자형 및 이산 균일 데이터 분포가 모든 테스트 언어에서 일관되게 가장 뛰어난 일반화 성능를 보이며, 기하 및 기울어진 분포보다 뛰어나다.
• 훈련 길이 윈도우를 넓히면 더 긴 시퀀스로의 일반화 능력이 크게 향상되며, 놀랍게도 더 긴 시퀀스로 훈련된 모델도 짧은 시퀀스로의 일반화 능력이 향상된다.
• 은닉 유닛 수가 많은 과도하게 파rameter화된 LSTM은 훈련 중 더 높은 안정성과 더 나은 일반화 일관성을 보이며, 최종 정확도가 항상 높은 편은 아니지만 말이다.
• 과도하게 파rameter화된 모델에서는 여러 은닉 유닛이 특정 시간 단계에서 동기화된 활성화 패턴을 보이며 서로 협동하여 시퀀스 길이를 추적하는 협동 카운팅 메커니즘이 나타난다.
• 다른 무작위 가중치 초기화 조건은 유사한 손실 수렴을 보이지만 일반화 결과는 다를 수 있으며, 이는 수렴이 동일한 유도 능력을 의미하지는 않음을 시사한다.
• 일반화 실패의 원인은 종종 잘못된 출력 시퀀스이지만, 일부 카운팅 행동을 반영하는 경우가 많다. 예를 들어 $a^{1000}b^{999}\dashv$ 대신 $a^{1000}b^{996}\dashv^4$를 생성하는 경우로, 실패한 경우에도 잔존하는 카운팅 메커니즘이 존재함을 시사한다.