[論文レビュー] Tensor-Train Recurrent Neural Networks for Video Classification

Yinchong Yang, Denis Krompaß+1 more|arXiv (Cornell University)|Jul 6, 2017

Tensor decomposition and applications参考文献 34被引用数 55

ひとこと要約

本論文は、RNNの入力-to-hidden重みを因数分解するエンドツーエンドの Tensor-Train レイヤを提案し、TT-RNN が高次元の動画データをはるか少ないパラメータ数で処理しつつ、競争力のある精度を達成できることを示す。

ABSTRACT

The Recurrent Neural Networks and their variants have shown promising performances in sequence modeling tasks such as Natural Language Processing. These models, however, turn out to be impractical and difficult to train when exposed to very high-dimensional inputs due to the large input-to-hidden weight matrix. This may have prevented RNNs' large-scale application in tasks that involve very high input dimensions such as video modeling; current approaches reduce the input dimensions using various feature extractors. To address this challenge, we propose a new, more general and efficient approach by factorizing the input-to-hidden weight matrix using Tensor-Train decomposition which is trained simultaneously with the weights themselves. We test our model on classification tasks using multiple real-world video datasets and achieve competitive performances with state-of-the-art models, even though our model architecture is orders of magnitude less complex. We believe that the proposed approach provides a novel and fundamental building block for modeling high-dimensional sequential data with RNN architectures and opens up many possibilities to transfer the expressive and advanced architectures from other domains such as NLP to modeling high-dimensional sequential data.

研究の動機と目的

• 重たいCNNプリプロセッサに依存せず、RNNを用いた高次元の動画データのエンドツーエンドモデリングを動機づける。
• RNNにおける入力-to-hidden 重み写像の圧縮に Tensor-Train Factorization を導入する。
• ネットワークの他の部分と共に学習される TT-SRNN、TT-GRU、TT-LSTM などの Tensor-Train RNN 変種を開発する。
• 複数の動画ベンチマークで、TT-RNN がはるか少ないパラメータ数で競争力のある性能を達成できることを示す。

提案手法

• Tensor-Train Factorization (TTF) とそのコアテンソルを、乗算の連鎖を介して重み行列を再構成する TT-コアとして説明する。
• 入力-to-hidden 重み行列を、エンドツーエンドで訓練される Tensor-Train Layer (TTL) に置換する。
• TT-GRU および TT-LSTM のゲートに TTL を適用し、高次元シーケンスをモデル化する（ベーシックな TT-SRNN 変種も含む）。
• 重みテンソルの効率的な TT 表現を可能にする二重インデックス（i_k, j_k）を使用する。
• パラメータ数と計算量を削減するためにゲートを連結して並列化のコツを提供する。
• 大規模な FC 層（例: 14,745,600 パラメータ）が数千のパラメータを持つ TTL に置換される圧縮率を示す。

実験結果

リサーチクエスチョン

• RQ1 Tensor-Train factorization を RNN に効果的に統合し、高次元の動画入力をエンドツーエンドで扱えるか？
• RQ2 標準的な動画分類ベンチマークで、TT-RNN の性能がプレーンな RNN（GRU/LSTM）および CNN ベースのプリプロセッシングパイプラインとどう比較されるか？
• RQ3 動画データにおける LSTM/GRU アーキテクチャで TTL を使用する場合のパラメータと学習時間のトレードオフは何か？

主な発見

• TT-GRU は UCF11 で 0.813 精度を達成し、入力-to-hidden パラメータはわずか 3,232 （プレーン GRU は 44,236,800）。
• TT-LSTM は UCF11 で 0.796 精度を達成し、3,360 の入力-to-hidden パラメータ（プレーン LSTM は 58,982,400）。
• Hollywood2 では、TT-GRU が 0.537 MAP、TT-LSTM が 0.546 MAP を、約 3,104–3,304 の入力-to-hidden パラメータで達成し、モデルサイズを大幅に削減。
• TT-RNN の変種はトレーニング時間を大幅に短縮（TT 変種は約 2 日、プレーン GRU/LSTM は 8–10 日）on UCF11。
• Youtube Celebrities Face データで、TT-GRU は 0.800 精度、TT-LSTM は 0.755、パラメータは約 3,328–3,392。プレーン LSTM/GRU よりパラメータ効率で優れている。