[論文レビュー] Time-series modeling with undecimated fully convolutional neural networks

Roni Mittelman|arXiv (Cornell University)|Aug 3, 2015

Music and Audio Processing参考文献 21被引用数 46

ひとこと要約

本稿では、最大プーリングをアップサンプリングによるフィルタの再生成に置き換えることで、入力と出力のシーケンス解像度を維持する因果的で完全畳み込み型アーキテクチャ、すなわちアンデシメートドフルコンボリューショナルニューラルネットワーク（UFCNN）を提案する。このアーキテクチャは、アンデシメートウェーブレット変換にインspiredされている。UFCNNは、ターゲット追跡、音楽モデリング、ハイフリクエンシートレーディングといった時系列タスクにおいて、RNNおよびLSTMモデルを上回り、勾配消失／爆発問題を回避し、効率的な学習を可能にするとともに、Viterbiアルゴリズムの利益上界の50％を達成する。

ABSTRACT

We present a new convolutional neural network-based time-series model. Typical convolutional neural network (CNN) architectures rely on the use of max-pooling operators in between layers, which leads to reduced resolution at the top layers. Instead, in this work we consider a fully convolutional network (FCN) architecture that uses causal filtering operations, and allows for the rate of the output signal to be the same as that of the input signal. We furthermore propose an undecimated version of the FCN, which we refer to as the undecimated fully convolutional neural network (UFCNN), and is motivated by the undecimated wavelet transform. Our experimental results verify that using the undecimated version of the FCN is necessary in order to allow for effective time-series modeling. The UFCNN has several advantages compared to other time-series models such as the recurrent neural network (RNN) and long short-term memory (LSTM), since it does not suffer from either the vanishing or exploding gradients problems, and is therefore easier to train. Convolution operations can also be implemented more efficiently compared to the recursion that is involved in RNN-based models. We evaluate the performance of our model in a synthetic target tracking task using bearing only measurements generated from a state-space model, a probabilistic modeling of polyphonic music sequences problem, and a high frequency trading task using a time-series of ask/bid quotes and their corresponding volumes. Our experimental results using synthetic and real datasets verify the significant advantages of the UFCNN compared to the RNN and LSTM baselines.

研究の動機と目的

• 標準的なCNNが時系列モデリングにおいて有する制限、すなわち最大プーリングによる解像度低下と、入力と出力シーケンス間の時間的整合性の喪失を解決すること。
• 入力と出力の時間的解像度を維持する完全畳み込み型アーキテクチャを構築し、エンドツーエンドのシーケンス・ツー・シーケンスモデリングを可能にすること。
• 再帰的でない畳み込み型アーキテクチャを活用することで、RNNおよびLSTMにおける勾配消失・爆発問題といった学習不安定性を克服すること。
• ベアリングオンリーターゲット追跡、ポリフォーニック音楽モデリング、ハイフリクエンシートレーディングを含む多様な時系列タスクにおいてUFCNNを評価し、汎用性と性能優位性を実証すること。

提案手法

• UFCNNは因果的畳み込み層を用い、時刻tの予測が過去および現在の入力にのみ依存することを保証し、因果性を維持する。
• 標準的なFCNにおける最大プーリングおよびトランスポーズ畳み込みの代わりに、各解像度レベルでフィルタのアップサンプリングを実施し、アンデシメートウェーブレット変換にインspiredする。
• ダウンサンプリングを回避することで、すべての層で同じ時間的解像度を維持し、出力シーケンスが入力シーケンス長と正確に一致することを可能にする。
• 各タスクに適した損失関数（回帰には平均二乗誤差、分類には交差エントロピー）を用い、バックプロパゲーションによる学習を実施する。
• 4つの解像度レベルを用い、各層のフィルタ長は5、および150–200フィルタを採用し、階層的特徴学習により長期間および短期間の依存関係を捉える。
• モデルは、ターゲット追跡用の合成データ、ポリフォーニック音楽用のMAPSデータセット、Bid/Ask見積もりおよび取引量を含むハイフリクエンシートレーディングデータセットを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 アンデシメートドフルコンボリューショナルネットワークは、層間をまたがって時間的解像度を維持しながら、時系列データを効果的にモデリングできるか？
• RQ2 最大プーリングをフィルタのアップサンプリングに置き換えることで、標準的なFCNおよびRNNベースのモデルと比較して、時系列モデリングの性能が向上するか？
• RQ3 UFCNNは、ハイフリクエンシートレーディングのような逐次意思決定タスクにおいて、最適なViterbiアルゴリズムに近い性能を達成できるか？
• RQ4 UFCNNは、RNNおよびLSTMに一般的に見られる勾配消失・爆発問題を回避し、より安定的かつ効率的な学習を可能にするか？

主な発見

• ハイフリクエンシートレーディングタスクにおいて、UFCNNは1ステップあたり平均利益0.13を達成し、Viterbiアルゴリズムが提供する到達不可能な上界の50％に相当した。
• UFCNNはRNNベースライン（1ステップあたり利益0.024）を著しく上回り、逐次的意思決定における優れた学習能力を示した。
• トレーディングタスクにおける分類精度はUFCNNで0.62、RNNで0.38を記録し、より優れたポリシー学習が可能であることを示した。
• LSTMモデルは学習中に一貫して発散したため、再帰型モデルの学習不安定性が顕著に現れ、UFCNNの訓練の信頼性における優位性が強調された。
• ポリフォーニック音楽モデリングタスクにおいて、UFCNNは優れた性能を示し、複雑な時間的依存関係を効果的にモデリングできる能力を示した。
• UFCNNは、勾配問題を回避しながらすべてのタスクで高い性能を達成し、安定した最適化を可能にするため、長時間シーケンスモデリングに適していることが確認された。