[論文レビュー] Tensor Decomposition for Compressing Recurrent Neural Network

Andros Tjandra, Sakriani Sakti+1 more|arXiv (Cornell University)|Feb 28, 2018

Tensor decomposition and applications参考文献 27被引用数 6

ひとこと要約

本稿では、パラメータ数を削減しながら性能を維持するため、テンソル分解法（CP、Tucker、Tensor Train（TT））を用いてゲート付き再帰ユニット（GRUs）を圧縮する手法を提案する。TT-GRUは、複数のシーケンスモデリングタスクにおいて、同等のパラメータ数下でCP-GRUやTucker-GRUを上回る結果を示し、特に多音楽的音楽データセットにおいて顕著である。

ABSTRACT

In the machine learning fields, Recurrent Neural Network (RNN) has become a popular architecture for sequential data modeling. However, behind the impressive performance, RNNs require a large number of parameters for both training and inference. In this paper, we are trying to reduce the number of parameters and maintain the expressive power from RNN simultaneously. We utilize several tensor decompositions method including CANDECOMP/PARAFAC (CP), Tucker decomposition and Tensor Train (TT) to re-parameterize the Gated Recurrent Unit (GRU) RNN. We evaluate all tensor-based RNNs performance on sequence modeling tasks with a various number of parameters. Based on our experiment results, TT-GRU achieved the best results in a various number of parameters compared to other decomposition methods.

研究の動機と目的

• 再帰ニューラルネットワーク（RNNs）のパラメータ数を減らすが、モデルの表現力には影響を与えないこと。
• テンソル分解法—CP、Tucker、TT—がRNNの重み行列を圧縮する有効性を評価すること。
• パラメータ数を変化させた条件下で、CP-GRU、Tucker-GRU、TT-GRUのシーケンスモデリングタスクにおける性能を比較すること。
• リソース制限のあるデバイスへの効率的なデプロイを可能にしつつ、モデル精度をできるだけ維持する最適なテンソル分解手法を特定すること。

提案手法

• GRUユニットの重み行列を、ランク1のテンソルの和に分解するCP分解を適用する。
• 重み行列を各モードに沿った因子行列とコアテンソルの積として表現するTucker分解を用いる。
• 重み行列を鎖状に接続された低ランクテンソルの系列として表現するテンソルトレイン（TT）分解を実装する。
• 各分解手法を用いてGRUモデルを再パラメータ化し、密な重み行列の代わりにコンactなテンソル形式を導入する。
• 負の対数尤度（NLL）を指標として用い、多音楽的音楽シーケンスモデリングタスクにおいて、圧縮モデルを訓練および評価する。
• 各分解手法のランクハイパーパrameterを調整することで、モデル間のパラメータ数を制御する。

実験結果

リサーチクエスチョン

• RQ1 CP、Tucker、TT分解は、性能を維持したままGRUモデルをどの程度圧縮できるか、比較する。
• RQ2 同じパラメータ数の条件下で、どのテンソル分解手法がシーケンスモデリングタスクにおいて最も低い負の対数尤度（NLL）スコアを達成するか。
• RQ3 TT分解は、元のGRUや他の圧縮バージョンと比較して、性能を維持または向上させられるか。
• RQ4 ノットリング、JSB Chorales、PianoMidi、MuseDataの各データセットにおいて、パラメータ制約下でモデル性能はどのように変化するか。
• RQ5 各分解手法における、パラメータ効率性と性能のトレードオフは何か。

主な発見

• TT-GRUは、すべてのデータセットで最も低い負の対数尤度（NLL）スコアを達成し、同等のパラメータ数下でCP-GRUやTucker-GRUを上回った。
• PianoMidiデータセットでは、TT-GRUが11,392パラメータでNLL 7.16を達成し、Tucker-GRU（7.20）やCP-GRU（7.23）を上回った。
• MuseDataデータセットでは、TT-GRUが11,392パラメータでNLL 7.16を達成したのに対し、Tucker-GRUは7.20、CP-GRUは7.23であった。
• 6,000以上のパラメータ数では、CP-GRUはTT-GRUと同等の性能を示したが、すべてのテスト設定でわずかに劣っていた。
• Tucker-GRUは、すべてのデータセットおよびパラメータ設定で、CP-GRUやTT-GRUに一貫して劣った。
• TT分解は、顕著なパラメータ削減を実現しながらも、高いモデル表現力を維持でき、本研究においてGRUの圧縮法として最も効果的であった。