[論文レビュー] Inference from Stationary Time Sequences via Learned Factor Graphs.

Nir Shlezinger, Nariman Farsad+2 more|arXiv (Cornell University)|Jun 5, 2020

Fractal and DNA sequence analysis参考文献 46被引用数 7

ひとこと要約

この論文では、モデルベースの推論と学習された要因グラフを組み合わせることで、定常時系列からの正確で一般化可能な推論を可能にする、モデルに依存しないフレームワーク、StaSPNetを提案する。定常要因グラフの特定のコンポーネントを学習するためのニューラルネットワークを訓練することで、StaSPNetは、小規模なデータセットと可変長の時系列を用いた、睡眠段階検出やシンボル検出といった多様なタスクにおいて高い性能を達成する。

ABSTRACT

The design of methods for inference from time sequences has traditionally relied on statistical models that describe the relation between a latent desired sequence and the observed one. A broad family of model-based algorithms have been derived to carry out inference at controllable complexity using recursive computations over the factor graph representing the underlying distribution. An alternative model-agnostic approach utilizes machine learning (ML) methods. Here we propose a framework that combines model-based inference algorithms and data-driven ML tools for stationary time sequences. In the proposed approach, neural networks are developed to separately learn specific components of a factor graph describing the distribution of the time sequence, rather than the complete inference task. By exploiting stationary properties of this distribution, the resulting approach can be applied to sequences of varying temporal duration. Additionally, this approach facilitates the use of compact neural networks which can be trained with small training sets, or alternatively, can be used to improve upon existing deep inference systems. We present an inference algorithm based on learned stationary factor graphs, referred to as StaSPNet, which learns to implement the sum product scheme from labeled data, and can be applied to sequences of different lengths. Our experimental results demonstrate the ability of the proposed StaSPNet to learn to carry out accurate inference from small training sets for sleep stage detection using the Sleep-EDF dataset, as well as for symbol detection in digital communications with unknown channels.

研究の動機と目的

• 定常時系列のためのモデルベース推論とデータ駆動型学習を統合するハイブリッド手法の開発。
• 基礎となる分布の定常性を活用することで、さまざまな時間的持続時間を持つ時系列の推論を可能にすること。
• エンドツーエンドの推論ではなく、個々の要因グラフコンポーネントを学習することで、深層推論モデルの複雑さとデータ要件を低減すること。
• 睡眠段階分類や未知のチャネルにおけるシンボル検出といった低データレジームでのパフォーマンスを向上させること。
• 定常要因グラフ分解を通じて、さまざまな時系列長に一般化可能なコンactなニューラルネットワークアーキテクチャの設計。

提案手法

• フレームワークは、定常時系列の要因グラフを、局所的要因やメッセージ伝達ルールなどの学習可能なコンポーネントに分解する。
• ニューラルネットワークは、条件付き確率分布やメッセージ計算関数を含む、要因グラフの特定部分を学習する。
• 学習されたコンポーネントが時系列長に依存しないようにするため、定常性を活用することで、さまざまな持続時間にわたる一般化を実現する。
• ラベル付きデータ上で訓練されたニューラルネットワークを用いてメッセージを計算する、学習された和積アルゴリズムを用いて推論を行う。
• アーキテクチャはコンパクトに設計されており、パrameter数を削減し、小規模なデータセットでの学習を可能にする。
• 転移学習をサポートし、既存の深層推論システムのコンポーネントを置き換えたり、改善したりするために使用可能である。

実験結果

リサーチクエスチョン

• RQ1 学習された要因グラフフレームワークは、最小限のラベル付きデータで定常時系列の正確な推論を達成できるか？
• RQ2 提案手法は、性能を維持したまま、さまざまな長さの時系列に一般化できるか？
• RQ3 個々の要因グラフコンポーネントを学習することは、低データレジームでエンドツーエンドのディープラーニングを上回る可能性をどの程度持つか？
• RQ4 このフレームワークは、睡眠段階検出やデジタルシンボル検出といった実世界のタスクに効果的に適用できるか？
• RQ5 定常性の仮定は、時系列推論におけるコンパクトで一般化可能なニューラルネットワークコンポーネントをどのように可能にするか？

主な発見

• StaSPNetは、小規模なトレーニングデータセットのみを用いてSleep-EDFデータセットで正確な推論を達成し、低データレジームにおける強力な一般化性能を示した。
• モデルは、基礎となる分布の定常性を活用することで、さまざまな時系列長に一般化できる。
• フレームワークは、エンドツーエンドのディープラーニングベースラインと比較して、パrameter数が少なく、データ量も少ない要因グラフコンポーネントを必要とするコンパクトなニューラルネットワークを可能にする。
• StaSPNetは、特に限られたトレーニングデータがある状況下で、未知のチャネルにおけるシンボル検出タスクで既存の深層推論システムを上回った。
• 個々の要因グラフコンポーネントを学習することは、ブラックボックスのエンドツーエンドモデルと比較して、解釈性と移植性が向上する。
• このアプローチは、効果的なファインチューニングと、既存のモデルベース推論パイプラインへの統合を可能にする。