[論文レビュー] Generalized Tensor Models for Recurrent Neural Networks

Valentin Khrulkov, Oleksii Hrinchuk+1 more|arXiv (Cornell University)|Jan 30, 2019

Tensor decomposition and applications被引用数 6

ひとこと要約

本稿は、ReLU非線形性を有する再帰的ニューラルネットワーク（RNN）の一般化されたテンソルモデルを導入し、乗法的RNNに限らない深さの効率性および普遍性の理論的分析を拡張する。本稿では、ReLUを用いたRNNが深さの効率性を示すことを証明しており、その表現力に匹敵するには浅いネットワークが指数的に広がる必要がある。この主張は、画像およびテキストタスクにおける広範な実験によって裏付けられている。

ABSTRACT

Recurrent Neural Networks (RNNs) are very successful at solving challenging problems with sequential data. However, this observed efficiency is not yet entirely explained by theory. It is known that a certain class of multiplicative RNNs enjoys the property of depth efficiency --- a shallow network of exponentially large width is necessary to realize the same score function as computed by such an RNN. Such networks, however, are not very often applied to real life tasks. In this work, we attempt to reduce the gap between theory and practice by extending the theoretical analysis to RNNs which employ various nonlinearities, such as Rectified Linear Unit (ReLU), and show that they also benefit from properties of universality and depth efficiency. Our theoretical results are verified by a series of extensive computational experiments.

研究の動機と目的

• 理論的深さの効率性と実用的応用との間のギャップを埋めるために、分析をReLU非線形性に拡張すること。
• ReLUベースのRNNが乗法的RNNで観察された表現力と深さの効率性を維持するかどうかを調査すること。
• 非乗法的RNNアーキテクチャの理論的分析のため、一般化されたテンソル分解を用いた理論的枠組みを構築すること。
• 理論的に導出された性質を、視覚および自然言語処理のデータセットにおける実験によって検証すること。
• RNNにおける重みの共有が普遍性および深さの効率性に与える影響を調査すること。

提案手法

• ReLU非線形性を有するRNNに一般化されたテンソル分解を拡張した一般化されたテンソルモデルを提案する。
• 一般化されたテンソル分解を用いて、RNNのスコア関数をグリッドテンソルとして表現し、理論的分析を可能にする。
• 代数幾何学およびテンソルランク理論の道具を用いて、ReLUベースのRNNにおける普遍性および深さの効率性を証明する。
• 同等の浅いネットワークのランクに対する下界推定技術を用いて、深さの効率性を定量化する。
• MNIST、CIFAR-10、およびIMDBデータセットにおける数値実験を実施し、性能およびランク要件を比較する。
• RNNにおける共有コア制約を用いて現実のシーケンス処理をモデル化するとともに、表現力に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 RNNにおけるReLU非線形性は、乗法的RNNで観察された深さの効率性を保持できるか？
• RQ2 共有重みを有する場合でも、ReLUベースのRNNは関数近似における普遍性を維持するか？
• RQ3 ReLUベースのRNNに同等の浅いネットワークのランクは何か？ そして、シーケンス長および隠れ次元とどのようにスケーリングするか？
• RQ4 一般化されたテンソルモデルは、センチメント分析や画像分類といった実用的タスクにおいて、標準的なRNNや浅いネットワークと比較してどのように性能を発揮するか？
• RQ5 RNNが共有重みを使用する場合、深さの効率性および普遍性の理論的性質がどの程度保持されるか？

主な発見

• ReLUベースのRNNは深さの効率性を示す：ランクRのReLU RNNに同等の表現力を有する浅いネットワークは、その表現力を再現するためには指数的に広い幅を必要とする。
• 理論的分析により、ReLU RNNが普遍的近似可能であることが確認され、多様な関数クラスを表現可能であることが示された。
• 数値実験の結果、一般化された浅いネットワークは、IMDBセンチメント分析タスクで同等の性能を達成するため、一般化されたRNNよりも顕著に多くのパラメータを必要とした。
• TTランクR=1,2,4,8のRNNに対して、同等の浅いネットワークのランクの下限はしばしば1であることが示され、低ランクの場合にコンパクトな浅い実装が可能である可能性が示された。
• しかし、Rが増加する（例：R=10²–10³）と、同等の浅いネットワークに必要なランクは指数的に増加し、実用的状況下での深さの効率性が確認された。
• TおよびRが大きい場合、同等の浅いネットワークにおける多項式サイズのCPランクを達成する確率は無視できるほど小さくなり、理論的深さの効率性の主張を裏付けるものとなった。