[논문 리뷰] Generalized Tensor Models for Recurrent Neural Networks

Valentin Khrulkov, Oleksii Hrinchuk외 1명|arXiv (Cornell University)|2019. 01. 30.

Tensor decomposition and applications인용 수 6

한 줄 요약

이 논문은 ReLU 비선형성을 갖는 순환 신경망(RNN)을 위한 일반화된 텐서 모델을 제안하며, 곱셈형 RNN을 초월해 깊이 효율성과 보편성에 대한 이론적 분석을 확장한다. 이는 ReLU 기반 RNN이 깊이 효율성을 보임을 증명하며, 이미지 및 텍스트 작업에서 광범위한 실험을 통해 이를 검증한다.

ABSTRACT

Recurrent Neural Networks (RNNs) are very successful at solving challenging problems with sequential data. However, this observed efficiency is not yet entirely explained by theory. It is known that a certain class of multiplicative RNNs enjoys the property of depth efficiency --- a shallow network of exponentially large width is necessary to realize the same score function as computed by such an RNN. Such networks, however, are not very often applied to real life tasks. In this work, we attempt to reduce the gap between theory and practice by extending the theoretical analysis to RNNs which employ various nonlinearities, such as Rectified Linear Unit (ReLU), and show that they also benefit from properties of universality and depth efficiency. Our theoretical results are verified by a series of extensive computational experiments.

연구 동기 및 목표

• 이론적 깊이 효율성과 실용적 응용 간 격차를 메우기 위해 분석을 ReLU 비선형성으로 확장한다.
• ReLU 기반 RNN이 곱셈형 RNN에서 관찰된 표현력과 깊이 효율성을 유지하는지 조사한다.
• 비곱셈형 RNN 아키텍처를 분석하기 위해 일반화된 텐서 분해를 사용하는 이론적 프레임워크를 개발한다.
• 시각 및 자연어 처리 데이터셋에서의 실증적 실험을 통해 이론적으로 유도된 성질을 검증한다.
• RNN에서 공유 가중치의 영향이 보편성과 깊이 효율성에 미치는 영향을 탐색한다.

제안 방법

• ReLU 비선형성을 갖는 RNN에 일반화된 텐서 분해를 적용한 모델을 제안하며, 이를 텐서 트레인(TT) 분해로 확장한다.
• 일반화된 텐서 분해를 사용해 RNN의 스코어 함수를 격자형 텐서로 표현함으로써 이론적 분석을 가능하게 한다.
• 대수기하학 및 텐서 질량 이론의 도구를 적용해 ReLU 기반 RNN의 보편성과 깊이 효율성을 증명한다.
• 등가 얕은 네트워크의 질량에 하한 추정 기법을 적용해 깊이 효율성을 정량화한다.
• MNIST, CIFAR-10 및 IMDB 데이터셋에서 수치 실험을 수행해 성능 및 질량 요구 사항을 비교한다.
• 실제 시퀀스 처리를 모델링하기 위해 RNN에서 공유 코어 제약 조건을 사용하며, 표현력에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 RNN의 ReLU 비선형성은 곱셈형 RNN에서 관찰된 깊이 효율성을 유지하는가?
• RQ2 공유 가중치가 존재하더라도 ReLU 기반 RNN은 함수 근사에서 보편성을 유지하는가?
• RQ3 ReLU 기반 RNN과 등가인 얕은 네트워크의 질량은 무엇이며, 시퀀스 길이와 은닉 차원에 따라 어떻게 변화하는가?
• RQ4 감성 분석 및 이미지 분류와 같은 실용적 작업에서 일반화된 텐서 모델은 표준 RNN과 얕은 네트워크보다 어떻게 비교되는가?
• RQ5 RNN에서 공유 가중치를 사용할 경우 깊이 효율성과 보편성의 이론적 성질이 얼마나 유지되는가?

주요 결과

• ReLU 기반 RNN은 깊이 효율성을 보인다: 질량 R을 갖는 ReLU RNN과 등가인 얕은 네트워크는 표현력을 따라잡기 위해 지수적으로 더 넓은 너비가 필요하다.
• 이론적 분석은 ReLU RNN이 보편적 근사기능이며, 다양한 함수의 풍부한 클래스를 표현할 수 있음을 확인한다.
• 수치 실험 결과, 일반화된 얕은 네트워크는 IMDB 감성 분석에서 일반화된 RNN과 비교해 유의미하게 더 많은 파라미터가 필요로 함을 보여준다.
• TT-질량 R=1,2,4,8인 RNN의 경우, 등가 얕은 네트워크의 질량 하한이 종종 1이므로, 저질량 케이스에서는 컴act한 얕은 실현 가능성이 있음을 시사한다.
• 그러나 R이 증가함에 따라(예: R=10²–10³), 등가 얕은 네트워크의 필요 질량이 지수적으로 증가하여 실용적 환경에서 깊이 효율성을 확인한다.
• 큰 T와 R에서 등가 얕은 네트워크에서 다항식 크기의 CP-질량을 달성할 확률은 무시할 수 없을 정도로 감소하며, 이는 이론적 깊이 효율성 주장에 대한 지지를 제공한다.