[論文レビュー] Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition

Miao Yin, Siyu Liao+3 more|arXiv (Cornell University)|May 9, 2020

Tensor decomposition and applications参考文献 20被引用数 21

ひとこと要約

本論文は、再帰的ニューラルネットワーク（RNNs）を圧縮するための階層的ツッカー（HT）テンソル分解を提案し、より強力な階層的表現学習と優れたモデル圧縮を実現する。HT-LSTMは、最大12,945倍の顕著な圧縮比と、YouTube Facesで最大88.1%、UCF11で98.1%の向上したテスト精度を達成し、TT-LSTM、TR-LSTM、BT-LSTMといった最先端手法を複数のベンチマークで上回る。

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely used in sequence analysis and modeling. However, when processing high-dimensional data, RNNs typically require very large model sizes, thereby bringing a series of deployment challenges. Although the state-of-the-art tensor decomposition approaches can provide good model compression performance, these existing methods are still suffering some inherent limitations, such as restricted representation capability and insufficient model complexity reduction. To overcome these limitations, in this paper we propose to develop compact RNN models using Hierarchical Tucker (HT) decomposition. HT decomposition brings strong hierarchical structure to the decomposed RNN models, which is very useful and important for enhancing the representation capability. Meanwhile, HT decomposition provides higher storage and computational cost reduction than the existing tensor decomposition approaches for RNN compression. Our experimental results show that, compared with the state-of-the-art compressed RNN models, such as TT-LSTM, TR-LSTM and BT-LSTM, our proposed HT-based LSTM (HT-LSTM), consistently achieves simultaneous and significant increases in both compression ratio and test accuracy on different datasets.

研究の動機と目的

• 弱い階層的構造に起因する表現能力の制限により、既存のテンソル分解手法（例：TT、TR、BT）がRNN圧縮において制限を受ける問題に対処する。
• 従来の手法がモデルの複雑さを十分に削減できない問題を克服するため、より強力な階層的モデリングとパラメータ・計算コストの大幅な削減を可能にする分解手法を導入する。
• 階層的ツッカー（HT）分解を用いたコンactなRNNアーキテクチャを開発し、表現力の向上とストレージ・計算コストの最小化を両立する。
• HTベースのRNNが、多様なシーケンスモデリングタスクにおいて、最先端の圧縮RNNモデルを上回る高い精度と圧縮比を達成できることを実証する。
• 複数の動画およびテキストデータセットにおいて、エンドツーエンド学習および事前学習済みCNN微調整設定の両方で、HT分解の有効性を検証する。

提案手法

• LSTMネットワークの重み行列、特に入力から隠れ層への重みテンソルおよび出力から隠れ層への重みテンソルに階層的ツッカー（HT）分解を適用する。
• 元の高次元重みテンソルをコアテンソルとファクターマトリクスの集合として表現し、複数レベルの依存関係を捉える階層的構造を形成する。
• 各階層で再帰的にランクと次元を低減する多段階テンソル分解フレームワークを採用する。
• 標準的な誤差逆伝播法とADAM最適化法を用いてHT-LSTMモデルを最適化し、一般化性能の向上のためL2正則化とドロップアウトを組み込む。
• 事前学習済みCNN設定では、Inception-V3を用いてコンactな特徴量（2,048次元）を抽出し、それを4次元テンソル（例：8×8×8×4）に再形状し、RNNの重み行列にHT分解を適用する。
• すべての実験でHT分解ノードのランクを4に固定し、先行研究と一貫した比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 階層的ツッカー分解は、既存のテンソル分解手法（例：TT、TR、BT）と比較して、圧縮RNNにおけるより優れた表現能力を提供できるか？
• RQ2 HTベースのRNN圧縮は、最先端手法と比較して、高いモデル圧縮比を維持または向上させながらテスト精度を向上させられるか？
• RQ3 標準的な動画およびテキストシーケンスベンチマークにおいて、HT-LSTMはTT-LSTM、TR-LSTM、BT-LSTMと比較してどのように性能を発揮するか？
• RQ4 特にリソースが限られた環境下でも、事前学習済みCNNを特徴抽出器として用いた場合に、HT-LSTMは高い性能を維持できるか？
• RQ5 HT分解の階層的構造は、RNNにおける逐次的依存関係のモデリングをどの程度向上させるか？

主な発見

• YouTube Facesデータセットにおいて、HT-LSTMは88.1%のテスト精度を達成し、以前の最先端モデル（80.8%）よりも7.3ポイント高い。
• UCF11データセットでは、HT-LSTMが98.1%の精度に達し、最高の先行結果（94.6%）よりも3.5ポイント高く、同じ事前学習済みCNNを使用したTR-LSTMよりも4.3ポイント高い。
• UCF11ではHT-LSTMが12,945倍の圧縮比を達成したが、同じvanilla LSTMを圧縮したTR-LSTMは25倍にとどまる。
• HMDB51データセットでは、HT-LSTMが64.2%の精度を達成し、TR-LSTM（63.8%）を上回り、光流体データを用いない状況でも大多数の先行手法を上回る。
• RGB入力のみで64.2%の精度を維持した一方で、同様のRGB入力のみを用いた先行SOTAモデルは49.8%にとどまり、HT-LSTMのロバストネスと効率性が示された。
• HT分解の階層的構造により、複雑な逐次的パターンのモデリングが向上し、非階層的手法と比較して一般化性能と表現力が向上した。