[論文レビュー] Discovering Nonlinear Relations with Minimum Predictive Information Regularization

Tailin Wu, Thomas M. Breuel+2 more|arXiv (Cornell University)|Jan 7, 2020

Time Series Analysis and Forecasting参考文献 47被引用数 14

ひとこと要約

本論文は、予測値と入力の間の相互情報量を最小化することで、観測時系列データから非線形的かつ方向性のある因果関係を同定する、最小予測情報正則化（MPIR）と呼ばれる新しい深層学習手法を提案する。この手法は、同時密度推定を必要とせず、ニューラルネットワークと学習可能な入力ノイズを活用して複雑な非線形依存関係をモデル化することで、合成データ、アーケードゲーム、実世界の生理時系列データの3つの分野で既存手法を上回る性能を発揮する。

ABSTRACT

Identifying the underlying directional relations from observational time series with nonlinear interactions and complex relational structures is key to a wide range of applications, yet remains a hard problem. In this work, we introduce a novel minimum predictive information regularization method to infer directional relations from time series, allowing deep learning models to discover nonlinear relations. Our method substantially outperforms other methods for learning nonlinear relations in synthetic datasets, and discovers the directional relations in a video game environment and a heart-rate vs. breath-rate dataset.

研究の動機と目的

• 複雑で未知の関数形を有する観測時系列データにおいて、方向性があり非線形的な因果関係を同定する課題に対処すること。
• 従来のグレインジャー因果性やトランスファーエントロピーの限界を克服し、高次元時系列データにおけるスケーラブルで効率的な因果同定を可能にすること。
• 交絡要因が存在する状況下でも、誤った間接的関連性ではなく直接的な因果関係を同定できること。
• 非線形ダイナミクスをモデル化可能な微分可能でエンドツーエンドのフレームワークを提供すること。
• 因果推論の堅牢性を高めるために、入力スケーリングやモデル再パラメータライゼーションに対して不変である統計的仮説検定を可能にすること。

提案手法

• 予測未来値と入力時系列の間の相互情報量を最小化する最小予測情報正則化（MPIR）目的関数を提案し、他の変数を条件として与える。
• 学習可能な入力ノイズ機構を用いて予測モデルを正則化し、非線形関数的関係を学習しつつも予測性能を維持できるようにする。
• ニューラルネットワークを関数近似器として用い、過去の時系列から未来の予測への非線形写像をモデル化することで、複雑なダイナミクスのユニバーサル近似を可能にする。
• 最小予測情報量を、時系列ペア間の方向性のある予測的強度の指標として定義し、入力スケーリングやモデル再パラメータライゼーションに対して不変な形で因果的影響を定量化する。
• すべてのN個の時系列の同時密度推定を避けるために、各ターゲット時系列ごとにN個の別々のモデルを学習することで因果同定問題を解く。
• 最小予測情報量に対する統計的仮説検定を適用し、推定された因果関係の有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的な関数形を必要とせず、高次元時系列データにおいて非線形的因果関係を同定できる深層学習ベースの手法は存在するか？
• RQ2 MPIR手法は、グレインジャー因果性、トランスファーエントロピー、スコアベース手法といった既存手法と比較して、精度とスケーラビリティの面でどのように異なるか？
• RQ3 本手法は、複雑で非線形的なシステムにおいて、直接的因果関係と間接的・誤った関連性を効果的に区別できるか？
• RQ4 実世界のデータにおけるノイズや時系列長、サンプリングレートの変動に対して、本手法はどの程度頑健であるか？
• RQ5 脳損傷などの外部的介入によって引き起こされる因果構造の変化を、生理時系列データから検出できるか？

主な発見

• 合成非線形時系列データにおいて、MPIRはベースライン手法を著しく上回り、時系列数Nが増加するにつれて真の因果構造の同定性能が顕著に向上する。
• アーケードゲーム「Atari Breakout」の環境では、MPIRはゲーム状態変数間の正しい因果構造（行動→位置、位置→報酬）を的確に同定した。
• 心拍数と呼吸数のデータセットでは、MPIRは心拍数から呼吸数への一貫した非対称的因果的影響を同定し、生理学的期待と整合的である。
• ラットのEEGデータセットでは、脳損傷後、左右皮質領域間の方向的影響が変化し、左から右への影響が増加する傾向がMPIRによって検出された。これは先行研究と整合的であり、神経生理的変化に敏感であることを示している。
• 時間予測ホライズンKが延長されても、MPIRの予測的強度の低下が最小限に抑えられており、カーネル化された因果性指標に基づく既存手法と比較して、履歴長の選択に対して頑健であることが示された。
• 統計的仮説検定により、最小予測情報量が因果関係の有意性を評価するのに有効であることが確認され、入力スケーリングやモデル再パラメータライゼーションに対して不変であることが裏付けられた。