[論文レビュー] Unified recurrent neural network for many feature types

Alexander Stec, Diego Klabjan+1 more|arXiv (Cornell University)|Sep 24, 2018

Time Series Analysis and Forecasting参考文献 12被引用数 3

ひとこと要約

本稿では、更新頻度が異なる特徴量を別々に扱うことで、5種類の異なる特徴量タイプ（密な特徴量、スパースな特徴量、時刻に依存する特徴量、静的密な特徴量、静的デルタ特徴量）をネイティブに処理できる統合型再帰ニューラルネットワーク（STLSTM）を提案する。モデルはスパースおよび密な特徴量の隠れ状態を別々に更新し、時間間隔を柔軟に組み込むことで、非同期時系列データの性能を向上させ、標準RNNよりも収束が速く、精度が優れている。

ABSTRACT

There are time series that are amenable to recurrent neural network (RNN) solutions when treated as sequences, but some series, e.g. asynchronous time series, provide a richer variation of feature types than current RNN cells take into account. In order to address such situations, we introduce a unified RNN that handles five different feature types, each in a different manner. Our RNN framework separates sequential features into two groups dependent on their frequency, which we call sparse and dense features, and which affect cell updates differently. Further, we also incorporate time features at the sequential level that relate to the time between specified events in the sequence and are used to modify the cell's memory state. We also include two types of static (whole sequence level) features, one related to time and one not, which are combined with the encoder output. The experiments show that the modeling framework proposed does increase performance compared to standard cells.

研究の動機と目的

• 標準RNNが、異種の特徴量更新頻度を有する非同期時系列データをモデル化する際の限界を解消すること。
• 密、スパース、時刻関連、静的特徴量の5種類の異なる特徴量タイプをネイティブにサポートする統合フレームワークの開発。
• RNNセルの更新メカニズムにおいて、スパarsityパターンが異なる特徴量を別々に扱うことで、モデルの精度と学習効率を向上させること。
• 時刻依存RNNを、直近のイベント間隔以外の任意の時間特徴量に対しても対応可能にする拡張。

提案手法

• 隠れ状態を密な部分とスパースな部分に分割し、特徴量の出現頻度に応じてそれぞれを更新する。
• スパース特徴量は個別の隠れ状態と記憶状態を維持し、特徴量が観測された場合にのみ更新される。
• 時間特徴量は、直近のステップからの時間間隔だけでなく、複数のデルタ特徴量をサポートする柔軟な減衰メカニズムでモデル化される。
• 静的特徴量は別々に処理される：静的デルタ特徴量は埋め込み表現に変換されセル内で使用され、静的密特徴量は埋め込み表現に変換され、最終的なシーケンス出力と連結される。
• すべての5種類の特徴量タイプを1つの統合型RNNセルに統合し、エンドツーエンドの学習を可能にする。
• スタックされたRNN層を用いる：下位層にSTLSTM、上位層に標準LSTMを配置し、階層的表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 RNNセル内で密特徴量とスパース特徴量の処理を分離することで、非同期時系列データの性能にどのような影響を与えるか？
• RQ2 統合型RNNフレームワークは、時刻依存特徴量や静的特徴量を含む複数の特徴量タイプを、1つのアーキテクチャ内で効果的にモデル化できるか？
• RQ3 提案されたSTLSTMセルは、スパースかつ不規則にサンプリングされたデータにおいて、標準RNNやTLSTMと比較して収束が速く、精度が優れているか？
• RQ4 特徴量のスパarsityレベルが異なると、STLSTMアーキテクチャによる性能向上にどのような影響を与えるか？

主な発見

• STLSTMモデルは、パrameter数が増加するため1エポックあたりの学習時間が長いものの、収束に40–50エポックで到達した。一方、標準TLSTMは70–80エポックを要した。
• 合成データでは、スパース特徴量を用いた場合、標準RNNと比較して2.5%の相対的性能向上を達成した。特にスパース性が最も高い特徴量サブセットで最大の向上が観察された。
• 実世界の離脱予測データでは、顧客固有およびシーケンス固有のスパース特徴量（スパarsity比0.03–0.3）を用いた場合に最も大きな性能向上が得られ、混合スパarsityに応じた柔軟な反応性が示された。
• 生のカウント特徴量（例：アカウントごとの人数合計）は、相対的変化特徴量よりも大きな性能向上をもたらした。これは、相対的変化特徴量がもともと意味的特徴を含んでいる可能性を示唆している。
• 静的デルタ特徴量の導入により、スパarsityが高くなるほど性能向上が顕著になり、低頻度特徴量の文脈においてその有用性が顕著に現れた。