[論文レビュー] Tensorial Recurrent Neural Networks for Longitudinal Data Analysis

Mingyuan Bai, Boyan Zhang+1 more|arXiv (Cornell University)|Aug 1, 2017

Neural Networks and Applications参考文献 4被引用数 9

ひとこと要約

本稿では、Tucker分解を用いて多次元テンソル時系列データを直接処理する新しいアーキテクチャ、テンソリアル再帰的ニューラルネットワーク（TRNN）を提案する。この手法は空間的構造を保持し、表現学習を向上させる。ICEWSデータセットの関係的時系列データにおいて、従来のベクトル化されたRNNと比較して、テンソル構造を学習全体を通して維持することで、低いテスト誤差（0.0081–0.0082）を達成した。

ABSTRACT

Traditional Recurrent Neural Networks assume vectorized data as inputs. However many data from modern science and technology come in certain structures such as tensorial time series data. To apply the recurrent neural networks for this type of data, a vectorisation process is necessary, while such a vectorisation leads to the loss of the precise information of the spatial or longitudinal dimensions. In addition, such a vectorized data is not an optimum solution for learning the representation of the longitudinal data. In this paper, we propose a new variant of tensorial neural networks which directly take tensorial time series data as inputs. We call this new variant as Tensorial Recurrent Neural Network (TRNN). The proposed TRNN is based on tensor Tucker decomposition.

研究の動機と目的

• 従来のRNNがテンソル時系列データをベクトル化する必要があるため、空間的・構造的情報を損なうという限界に対処すること。
• 再帰的アーキテクチャで多次元テンソルデータをネイティブに処理できる深層学習モデルを開発すること。
• 縦断的データの内在するテンソル構造を、シーケンスモデリングと表現学習の過程で維持すること。
• Tucker分解を用いてLSTMおよびGRUアーキテクチャをテンソリアル形式に拡張し、パラメータ効率性と構造的正確性を確保すること。
• 複雑な多次元構造を持つ実世界の関係的時系列データに対して、提案モデルの実証的妥当性を検証すること。

提案手法

• ベクトル化された入力を用いるのではなく、D次元テンソル入力を直接受け入れるテンソリアルRNN（TRNN）を提案する。
• 再帰的重みテンソルのパrameter化にTucker分解を採用し、パラメータ数を削減しながら構造的情報を保持する。
• 各モードに沿ったテンソル-テンソル乗算を用いて、LSTMおよびGRUユニットをテンソリアル形式（tLSTMおよびtGRU）に変換する。
• テンソル微分およびモード固有の勾配を用いて、tLSTMおよびtGRUの逆誤差伝搬アルゴリズムを導出する。
• 過学習を防ぎ、一般化性能を向上させるために、重み行列にFrobeniusノルム正則化を適用する。
• ICEWSデータセットの3次元関係的テンソルを用いた、many-to-oneおよびmany-to-manyのシーケンス予測タスクにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 ベクトル化を経由せずに、多次元テンソル時系列データを直接処理できる再帰的ニューラルネットワークを設計できるか？
• RQ2 シーケンスモデリングの過程でテンソル構造を維持することで、関係的データにおける予測性能が向上するか？
• RQ3 Tucker分解を用いて、LSTMおよびGRUアーキテクチャを高次元テンソル入力に対応させるにはどうすればよいか？
• RQ4 Tucker分解による構造的パラメータ共有が、モデルの効率性および一般化性能に与える影響は何か？
• RQ5 実世界の縦断的データにおいて、テンソリアルRNNは標準的なRNNと比較して、テスト誤差および収束特性において優れているか？

主な発見

• 提案されたTRNNモデルは、ベクトル化による構造的歪みを回避し、3次元テンソル時系列データを直接処理できた。
• tLSTMおよびtGRUモデルは、ICEWS関係的データにおいて、それぞれmany-to-oneで0.0081、many-to-manyで0.0082のテスト誤差を達成した。
• Tucker分解の使用により、パラメータ効率的なモデリングが可能になりながらも、入力テンソルの空間的構造を維持できた。
• tLSTMおよびtGRUのための逆誤差伝搬アルゴリズムが、テンソリアルシーケンスにおけるエンドツーエンド学習を可能にする形で成功裏に導出された。
• 1000エポックにわたる安定した収束を示し、構造的縦断的データにおける堅牢な学習ダイナミクスを示した。
• 結果から、テンソル構造の維持が、ベクトル化されたRNNと比較して、より優れた表現学習と予測性能をもたらすことが示唆された。