[논문 리뷰] Expressive power of recurrent neural networks

Valentin Khrulkov, Alexander Novikov외 1명|arXiv (Cornell University)|2017. 11. 02.

Tensor decomposition and applications참고 문헌 19인용 수 9

한 줄 요약

이 논문은 RNN을 텐서 트레이스(TT) 분해와 연결함으로써 순환 신경망(RNN)의 표현 능력을 규명하며, TT-RNN의 표현 능력과 동일한 성능을 내기 위해 얕은 네트워크가 지수적으로 더 넓은 너비가 필요하다는 점을 증명한다. 주요 기여는 동일한 표현 능력을 갖는 데 필요한 얕은 네트워크의 너비에 대해 지수하한(lower bound)을 제시한 것으로, 이는 이미지 패치와 같은 순차적이고 구조적인 데이터를 모델링할 때 RNN이 본질적으로 더 효율적임을 보여준다.

ABSTRACT

Deep neural networks are surprisingly efficient at solving practical tasks, but the theory behind this phenomenon is only starting to catch up with the practice. Numerous works show that depth is the key to this efficiency. A certain class of deep convolutional networks -- namely those that correspond to the Hierarchical Tucker (HT) tensor decomposition -- has been proven to have exponentially higher expressive power than shallow networks. I.e. a shallow network of exponential width is required to realize the same score function as computed by the deep architecture. In this paper, we prove the expressive power theorem (an exponential lower bound on the width of the equivalent shallow network) for a class of recurrent neural networks -- ones that correspond to the Tensor Train (TT) decomposition. This means that even processing an image patch by patch with an RNN can be exponentially more efficient than a (shallow) convolutional network with one hidden layer. Using theoretical results on the relation between the tensor decompositions we compare expressive powers of the HT- and TT-Networks. We also implement the recurrent TT-Networks and provide numerical evidence of their expressivity.

연구 동기 및 목표

• RNN의 표현 능력에 대한 이론적 기반을 마련하기 위해 RNN을 텐서 트레이스(TT) 분해와 연결하는 것.
• TT-RNN을 정확히 모방하기 위해 얕은 네트워크가 지수적으로 더 넓은 너비가 필요하다는 점을 증명함으로써 표현 능력 정리(Expressive Power Theorem)를 수립하는 것.
• 텐서 분해 이론을 활용하여 TT-RNN, HT-컨볼루션 네트워크, CP-얕은 네트워크의 표현 능력을 비교하는 것.
• 합성 및 실제 데이터 세트에서의 수치 실험을 통해 TT-RNN의 경험적 검증을 제공하는 것.

제안 방법

• 순차적 입력 처리를 저질서 텐서의 사슬으로 모델링함으로써 RNN과 TT 분해 간의 관계를 수식적으로 정의하는 것.
• 특징 텐서 Φ(X)와 학습 가능한 가중치 텐서 W_y 간의 내적을 스코어 함수로 정의하며, Φ(X)는 입력 패치에 적용된 특징 매핑의 곱으로 구성된다.
• TT-랭크를 복잡도 측정 기준으로 삼아, TT-RNN을 정확히 모의할 수 있는 모든 얕은 네트워크의 너비에 대해 지수하한을 증명하는 것.
• 공유된 저랭크 이차형 매핑을 사용하여 TT-RNN을 구현하고, 고정된 패치 크기와 ReLU 활성화 함수를 사용하여 토이 및 실제 데이터 세트(MNIST, CIFAR-10)에서 훈련하는 것.
• 랭크 기반 파arameterization을 통해 모델 복잡도를 감소시키면서도 표현 능력을 유지하는 것.
• 훈련 정확도를 통해 성능을 평가하고, 동일한 조건에서 TT-RNN과 CP-분해된 얕은 네트워크를 비교하는 것.

실험 결과

연구 질문

• RQ1 순환 신경망은 텐서 트레이스 분해와 공식적으로 연결될 수 있으며, 그로 인해 도출되는 아키텍처적 해석은 무엇인가?
• RQ2 TT 분해로 모델링된 RNN의 이론적 표현 능력은 무엇이며, 얕은 네트워크와 비교해 볼 때 어떻게 다를까?
• RQ3 HT-컨볼루션 네트워크와 CP-얕은 네트워크에 비해 TT-RNN의 표현 능력은 어떻게 비교되는가?
• RQ4 수치 실험은 실제로 TT-RNN의 이론적 우월성을 어느 정도 확인하는가?

주요 결과

• 논문은 TT-RNN을 정확히 모의하기 위해 필요한 얕은 네트워크의 너비에 대해 지수하한을 증명하며, 이는 TT-RNN의 뛰어난 표현 능력을 입증한다.
• MNIST에서 TT-RNN은 랭크가 5 이하로 설정되며 정규화 없이도 98%의 테스트 정확도를 달성하여 단순한 과제에서 강력한 표현 능력을 보여준다.
• CIFAR-10에서 TT-RNN은 정규화 없이도 45%의 훈련 정확도를 기록하며, CP-네트워크(20% 정확도)보다 뚜렷이 뛰어나지 않지만 유의미한 다항식 표현 능력 향상을 보여준다.
• 실험 전반에 걸쳐 TT-와 CP-네트워크 간의 성능 격차는 일관되며, 특히 높은 랭크에서 TT-RNN이 더 안정적인 학습을 보인다.
• 최적화 문제로 인해 CP-네트워크는 랭크가 증가함에 따라 성능이 떨어지는 경우가 있어, TT-구조 파arameterization의 안정성 우월성을 드러낸다.
• 이론적 프레임워크는 TT-RNN이 얕은 네트워크보다 지수적으로 더 표현 능력이 뛰어나다는 점을 확인하며, 실질적 이점은 최적화 제약로 인해 다항식 수준에 머무르지만 여전히 의미 있는 표현 능력 향상을 보인다.