[논문 리뷰] Kronecker Recurrent Units

Cijo Jose, Moustpaha Cisse외 1명|arXiv (Cornell University)|2017. 05. 29.

Neural Networks and Applications참고 문헌 25인용 수 11

한 줄 요약

Kronecker Recurrent Units (KRU)는 희소성 있는 반복 가중치 행렬을 사용하여 파rameter 효율적인 RNN 아키텍처를 제안하며, 기울기 소실/폭발 문제를 완화하기 위해 부드러운 유니터리 제약 조건을 적용합니다. 이 방법은 반복 가중치 수를 최대 3개의 자리수 감소시키지만, 7개의 벤치마크에서 최신 기술 수준(SOTA) 성능을 유지하거나 초월합니다. 이는 높은 차원의 은닉 상태와 낮은 용량의 반복 동역학을 조합해도 성능 손실 없이 구현 가능함을 보여줍니다.

ABSTRACT

Our work addresses two important issues with recurrent neural networks: (1) they are over-parameterized, and (2) the recurrence matrix is ill-conditioned. The former increases the sample complexity of learning and the training time. The latter causes the vanishing and exploding gradient problem. We present a flexible recurrent neural network model called Kronecker Recurrent Units (KRU). KRU achieves parameter efficiency in RNNs through a Kronecker factored recurrent matrix. It overcomes the ill-conditioning of the recurrent matrix by enforcing soft unitary constraints on the factors. Thanks to the small dimensionality of the factors, maintaining these constraints is computationally efficient. Our experimental results on seven standard data-sets reveal that KRU can reduce the number of parameters by three orders of magnitude in the recurrent weight matrix compared to the existing recurrent models, without trading the statistical performance. These results in particular show that while there are advantages in having a high dimensional recurrent space, the capacity of the recurrent part of the model can be dramatically reduced.

연구 동기 및 목표

• RNN의 반복 가중치 행렬의 과다 파ram터화와 불량 조건 문제를 해결하여 훈련 시간을 증가시키고 기울기 소실/폭발 문제를 유발하는 것을 목표로 합니다.
• 엄격한 유니터리 RNN의 한계를 극복하여 모델 용량을 제한하고 실제 데이터에서 일반화 능력을 저하시키는 문제를 해결합니다.
• 매우 낮은 반복 파rameter 수를 유지하면서도 높은 성능을 유지하는 파rameter 효율적인 RNN 아키텍처를 개발합니다.
• 크로네커 분해와 부드러운 유니터리 제약 조건을 통해 모델 용량을 세밀하게 제어할 수 있도록 합니다.
• 높은 차원의 은닉 상태와 낮은 용량의 반복 동역학을 조합해도 성능 손실 없이 작동할 수 있음을 입증합니다.

제안 방법

• 반복 가중치 행렬을 더 작은 저차원 요소들로 분해하기 위해 크로네커 곱 분해를 사용하여 파ram터 효율성을 달성합니다.
• 크로네커 요소에 대해 부드러운 유니터리 제약 조건을 적용하여 훈련 안정성을 향상시키고 기울기 폭발/소실을 방지합니다.
• 완전한 유니터리 RNN에서 요구되는 비용이 큰 투영 단계를 피하기 위해 정규화를 통해 유니터리 성질을 근사적으로 유지합니다.
• 크로네커 행렬의 스펙트럼 성질을 활용하여 빠른 행렬 곱셈과 효율적인 기울기 계산을 가능하게 합니다.
• 하이퍼파ram터를 통해 유니터리 강도를 조절할 수 있는 미분 가능한 부드러운 제약 조건을 사용하여 안정성과 표현력 사이의 균형을 이룹니다.
• 일반적인 RNN과 LSTM에 이 방법을 적용하여 다양한 시퀀스 모델링 작업에 대한 광범위한 적용 가능성을 입증합니다.

실험 결과

연구 질문

• RQ1 크로네커 분해를 통해 RNN의 반복 파ram터 수를 수십만 배 감소시킬 수 있을까요? 성능 손실 없이 가능할까요?
• RQ2 크로네커 요소에 대해 부드러운 유니터리 제약 조건을 적용하면 엄격한 유니터리 또는 정규화되지 않은 RNN보다 훈련 안정성과 일반화 능력이 향상될까요?
• RQ3 높은 차원의 은닉 상태와 함께 낮은 용량의 반복 동역학도 여전히 SOTA 성능을 달성할 수 있을까요?
• RQ4 부드러운 유니터리 제약 조건의 강도가 다양한 시퀀스 모델링 작업에서 모델 성능에 어떤 영향을 미칠까요?
• RQ5 실제 데이터셋에서 장기적 의존성이 사라지는 문제를 겪는 경우, KRU 아키텍처는 엄격한 유니터리 RNN보다 더 잘 일반화될 수 있을까요?

주요 결과

• KRU는 표준 RNN에 비해 반복 가중치 행렬의 파라미터 수를 최대 3개의 자리수 감소시키지만 통계적 성능에 손실가지 않습니다.
• JSB Chorales 데이터셋에서 최고의 검증 성능은 부드러운 유니터리 제약 조건 강도 1e-2에서 달성되었습니다.
• Piano-midi 데이터셋에서는 최적의 부드러운 유니터리 제약 조건 강도가 1e-1이었으며, 이는 작업에 따라 제약 강도에 민감한 것을 시사합니다.
• TIMIT 음소 인식 작업에서는 제약 조건 강도 1e-5에서 최고의 오류율을 기록했으며, 더 높은 값에서는 성능이 악화되어 과도한 정규화가 발생함을 시사합니다.
• 부드러운 유니터리 제약 조건은 기울기 클리핑의 원리적인 대안을 제공하며, 명시적 기울기 클리핑 없이도 수렴성과 일반화 능력을 향상시킵니다.
• 실험 결과는 높은 차원의 은닉 상태가 낮은 용량의 반복 동역학에 의해 효과적으로 구동될 수 있음을 보여주며, 높은 반복 용량이 성능에 필수적이라는 가정을 도전합니다.