[논문 리뷰] Tensor-Train Recurrent Neural Networks for Video Classification

Yinchong Yang, Denis Krompaß외 1명|arXiv (Cornell University)|2017. 07. 06.

Tensor decomposition and applications참고 문헌 34인용 수 55

한 줄 요약

본 논문은 RNN의 입력-은닉 가중치를 인코딩하는 엔드 투 엔드 텐서-트레인(Tensor-Train) 층을 제안하여 TT-RNN이 차원이 높은 비디오 데이터를 훨씬 적은 파라미터로 처리하면서도 경쟁력 있는 정확도를 달성하도록 하는 방법이다.

ABSTRACT

The Recurrent Neural Networks and their variants have shown promising performances in sequence modeling tasks such as Natural Language Processing. These models, however, turn out to be impractical and difficult to train when exposed to very high-dimensional inputs due to the large input-to-hidden weight matrix. This may have prevented RNNs' large-scale application in tasks that involve very high input dimensions such as video modeling; current approaches reduce the input dimensions using various feature extractors. To address this challenge, we propose a new, more general and efficient approach by factorizing the input-to-hidden weight matrix using Tensor-Train decomposition which is trained simultaneously with the weights themselves. We test our model on classification tasks using multiple real-world video datasets and achieve competitive performances with state-of-the-art models, even though our model architecture is orders of magnitude less complex. We believe that the proposed approach provides a novel and fundamental building block for modeling high-dimensional sequential data with RNN architectures and opens up many possibilities to transfer the expressive and advanced architectures from other domains such as NLP to modeling high-dimensional sequential data.

연구 동기 및 목표

• 무거운 CNN 전처리에 의존하지 않고 고차원 비디오 데이터를 RNN으로 엔드-투-엔드로 모델링하는 것을 동기부여한다.
• RNN에서 입력-은닉 가중치 매핑을 압축하기 위한 Tensor-Train 분해를 도입한다.
• 네트워크의 나머지 부분과 함께 학습되는 Tensor-Train RNN 변형들(TT-SRNN, TT-GRU, TT-LSTM)을 개발한다.
• 다수의 비디오 벤치마크에서 TT-RNN이 상당히 적은 파라미터로도 경쟁력 있는 성능을 달성할 수 있음을 보여준다.

제안 방법

• Tensor-Train Factorization(TTF)와 그 Core 텐서들을 TT-cores로 설명하며, 이는 곱의 연쇄를 통해 가중치 행렬을 재구성한다.
• 입력-은닉 가중치 행렬을 엔드-투-엔드로 학습되는 Tensor-Train Layer(TTL)로 대체한다.
• TT-GRU와 TT-LSTM의 게이트에 TTL을 적용하고(그리고 일반적인 TT-SRNN 변형도) 고차원 시퀀스를 모델링한다.
• 가중치 텐서의 효율적인 TT 표현을 가능하게 하는 이중 인덱싱(i_k, j_k)을 사용한다.
• 게이트를 연결(concatenate)하여 파라미터 수와 계산을 줄이는 병렬화 트릭을 제공한다.
• 큰 완전 연결층(예: 14,745,600 파라미터)이 수천 개의 파라미터를 가진 TTL로 대체되는 압축 비율을 보여준다.

실험 결과

연구 질문

• RQ1 Tensor-Train 분해를 RNN에_effectively_ 통합하여 엔드-투-엔드로 고차원 비디오 입력을 처리할 수 있는가?
• RQ2 표준 비디오 분류 벤치마크에서 TT-RNN의 성능이 일반 RNN(GRU/LSTM) 및 CNN 기반 전처리 파이프라인과 어떻게 비교되는가?
• RQ3 비디오 데이터에 대해 LSTM/GRU 아키텍처에서 TTL을 사용할 때의 파라미터 및 학습 시간 거래상태(트레이드오프)는 무엇인가?

주요 결과

• TT-GRU는 UCF11에서 0.813 정확도를 달성하며 입력-은닉 매개변수는 단 3,232개뿐(일반 GRU의 44,236,800개에 비해).
• TT-LSTM은 UCF11에서 0.796 정확도를 달성하며 입력-은닉 매개변수는 3,360개(일반 LSTM의 58,982,400개에 비해).
• Hollywood2에서 TT-GRU는 0.537 MAP, TT-LSTM은 약 3,104–3,304 입력-은닉 매개변수로 0.546 MAP를 달성하여 모델 크기를 크게 줄인다.
• TT-RNN 변형은 학습 시간을 크게 단축시킨다(예: UCF11에서 일반 GRU/LSTM의 8–10일에 비해 TT 변형은 약 2일).
• Youtube Celebrities Face 데이터에서 TT-GRU는 0.800 정확도, TT-LSTM은 0.755를 달성하며 약 3,328–3,392 파라미터로 일반 LSTM/GRU보다 파라미터 효율이 우수하다.