[논문 리뷰] Low-rank passthrough neural networks

Antonio Valerio Miceli Barone|arXiv (Cornell University)|2016. 03. 10.

Neural Networks and Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 LSTMs와 GRUs와 같은 파스스루 신경망에 대해 저질서 및 저질서 + 대각행렬 행렬 분해 파arametrization을 제안하여 상태 크기와 파rameter 수를 분리함으로써 메모리 및 데이터 복잡도를 감소시키면서도 메모리 용량을 유지한다. 순차적인 무작위로 섞인 MNIST에서 거의 최첨단 성능을 달성하여 성능을 희생시키지 않고도 파rameter 효율성이 뛰어나다.

ABSTRACT

Various common deep learning architectures, such as LSTMs, GRUs, Resnets and Highway Networks, employ state passthrough connections that support training with high feed-forward depth or recurrence over many time steps. These "Passthrough Networks" architectures also enable the decoupling of the network state size from the number of parameters of the network, a possibility has been studied by ewcite{Sak2014} with their low-rank parametrization of the LSTM. In this work we extend this line of research, proposing effective, low-rank and low-rank plus diagonal matrix parametrizations for Passthrough Networks which exploit this decoupling property, reducing the data complexity and memory requirements of the network while preserving its memory capacity. This is particularly beneficial in low-resource settings as it supports expressive models with a compact parametrization less susceptible to overfitting. We present competitive experimental results on several tasks, including language modeling and a near state of the art result on sequential randomly-permuted MNIST classification, a hard task on natural data.

연구 동기 및 목표

• 딥 네ural 네트워크에서 모델 용량과 파arameter 수 사이의 상충 관계를 해결하기 위해.
• LSTM 및 GRU와 같은 아키텍처의 상태 파스스루 메커니즘을 활용하여 상태 크기를 학습 가능한 파arameter 수와 분리하기 위해.
• 특히 저질서 및 저질서 + 대각행렬 행렬 분해를 통해 숨겨진 계층 변환을 위한 효율적이고 저차원의 파arametrization을 개발하기 위해.
• 제안된 방법을 순차적 모델링 작업, 특히 무작위로 섞인 MNIST 및 문자 수준의 언어 모델링에 적용하여 파arameter 효율성과 성능에 중점을 두고 평가하기 위해.
• 적절히 구성된 경우 파arameter 수를 줄여도 메모리 용량이나 예측 성능가 희생되지 않음을 입증하기 위해.

제안 방법

• 논문은 GRU 및 LSTM 레이어의 순환 가중치 행렬에 저질서 행렬 분해를 적용하여 파arameter 수를 O(n²)에서 O(rn)으로 감소시킨다. 여기서 r은 질서이다.
• 저질서 + 대각행렬 파arametrization을 도입하여 변환 행렬을 저질서 행렬과 대각행렬의 합으로 분해함으로써 더 표현력 있는 표현을 더 적은 파arameter로 가능하게 한다.
• 이 방법은 상태 파스스루 메커니즘을 유지하여 은닉 상태가 레이어를 거의 그대로 통과하게 하여 기울기 소실 문제를 완화한다.
• 이 접근법은 GRU 및 LSTM 아키텍처 모두에 적용되었으며, 연결된 vs. 연결되지 않은 투영 행렬 및 다양한 질서와 상태 크기에서의 분석도 수행되었다.
• 실험은 무작위로 섞인 MNIST 및 문자 수준의 언어 모델링과 같은 표준 벤치마크를 사용하였으며, 이전 최첨단 연구와 동일한 학습 및 평가 프로토콜을 따르였다.
• 특히 저파arameter 영역에서 일반화를 향상시키기 위해 베이지안 순환 드롭아웃을 정규화 기법으로 적용하였다.

실험 결과

연구 질문

• RQ1 저질서 파arametrization은 파arameter 수를 크게 줄였음에도 불구하고 깊은 순차적 모델에서 높은 성능을 유지할 수 있는가?
• RQ2 저질서 + 대각행렬 분해는 순환 네트워크에 대해 표준 저질서 또는 전수 행렬보다 더 나은 인도크티브 바이어스를 제공하는가?
• RQ3 구조적 행렬 분해를 통해 파arameter 수를 줄였을 때 네트워크의 메모리 용량을 어느 정도 유지할 수 있는가?
• RQ4 고전적인 파arameter 효율적 아키텍처인 Highway Networks나 ResNets와 비교해 볼 때 정확도 및 효율성 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 무작위로 섞인 MNIST와 같은 도전적인 작업에서 표준 모델보다 파arameter 수가 수 개의 주기수만큼 적은 경우에도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 254만 개의 파arameter를 가진 저질서 + 대각행렬 GRU는 문자 수준의 언어 모델링에서 테스트 퍼플렉서티 2.76을 기록하여 유사한 파arameter 수를 가진 더 큰 기준 모델보다 뛰어난 성능을 보였다.
• 저질서 + 대각행렬 GRU의 연결된 버전은 단지 254만 개의 파arameter로도 퍼플렉서티 2.76을 달성하여 더 높은 메모리 용량 효율성을 입증하였다.
• 순차적인 무작위로 섞인 MNIST 작업에서 이 방법은 거의 최첨단 성능을 달성하여 어려운 비-마르코프 순차적 데이터에 대한 강력한 일반화 능력을 보였다.
• 상태 크기 대 질서 비율이 100:1이 넘는 브로드캐스트 비율을 가진 모델조차도 강력한 성능을 기록하여 저질서 파arametrization이 효과적인 표현 능력을 유지할 수 있음을 시사했다.
• 표준 저질서 및 전수 행렬 기준 모델에 비해 저질서 + 대각행렬 파arametrization이 특히 저파arameter 영역에서 더 뛰어난 성능을 보여, 파arameter 효율적 학습에서의 효과성을 입증하였다.
• 예를 들어 0.46M 대비 3.11M의 파arameter 수를 가진 저질서 GRU도 기준 퍼플렉서티 2.92를 그대로 유지하여 파arameter 수를 줄여도 성능 손실가 없는 것을 보였다.