[論文レビュー] $k$-NN Estimation of Directed Information

Yonathan Murin|arXiv (Cornell University)|Nov 22, 2017

Neural Networks and Applications参考文献 22被引用数 9

ひとこと要約

本稿では、異なるノルムにおける最近傍距離を用いて、離散時間・連続振幅の確率過程間の指向情報（DI）を推定する2つのk-NNベースの推定量を提案する。この手法により、線形および非線形の因果的影響を非パrametricに検出可能であり、数値結果では小標本（N=3000）でも正確な推定が可能であり、既存手法（JVHWおよびGOV）を上回る因果の方向性と強度の捉え具合を示している。

ABSTRACT

This report studies data-driven estimation of the directed information (DI) measure between two{em discrete-time and continuous-amplitude} random process, based on the $k$-nearest-neighbors ($k$-NN) estimation framework. Detailed derivations of two $k$-NN estimators are provided. The two estimators differ in the metric based on which the nearest-neighbors are found. To facilitate the estimation of the DI measure, it is assumed that the observed sequences are (jointly) Markovian of order $m$. As $m$ is generally not known, a data-driven method (that is also based on the $k$-NN principle) for estimating $m$ from the observed sequences is presented. An exhaustive numerical study shows that the discussed $k$-NN estimators perform well even for relatively small number of samples (few thousands). Moreover, it is shown that the discussed estimators are capable of accurately detecting linear as well as non-linear causal interactions.

研究の動機と目的

• 連続振幅時系列間の指向情報（DI）を、パラメトリックモデルを仮定せずに非パラメトリックかつデータ駆動的に推定するための推定量を開発すること。
• 従来のグレインジャー因果性が非線形性やモデル仮定の欠如により失敗する状況において、因果的影響を推定する課題に対処すること。
• 局所的密度の近似として最近傍距離を用いるk-NNフレームワークを採用し、複雑な依存関係に対しても頑健な推定を可能にする。
• 通常実務では未知であるとされる、元の過程のマルコフオーダーmをデータ駆動的に推定する手法を導入すること。
• 提案手法の推定量が、さまざまなノイズレベルや結合強度下での線形および非線形因果的相互作用の検出性能を評価すること。

提案手法

• k-NN距離を用いてℓpノルム空間における微分エントロピーを推定し、k番目の最近傍距離を局所的密度の近似に用いる。
• k-NNフレームワークを拡張し、結合分布と周辺分布からの最近傍距離を組み合わせることで、確率的ベクトル間の相互情報量（MI）を推定する。
• k-NNによるMI推定量を用いて、2つの時系列間の指向情報（DI）を推定し、過程が共にオーダーmのマルコフ過程であると仮定する。
• データからマルコフオーダーmを推定するk-NNベースの手続きを採用し、過程の記憶特性に関する事前知識に依存しない。
• 最近傍距離の計算に用いるℓpノルム（例：ℓ1とℓ2）の違いによって異なる2つのk-NN推定量を用意し、頑健性の分析を可能にする。
• 既知の因果構造を持つ合成時系列を用いて推定量を検証し、JVHWやGOVといった既存手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 k-NNベースの推定は、未知のダイナミクスを有する連続振幅・非パラメトリック時系列において、指向情報を効果的に推定できるか？
• RQ2 提案されたk-NN推定量は、線形および非線形結合状況下でも、因果的影響をどれほど正確に検出できるか？
• RQ3 特に小規模データ（例：N=3000）を用いた場合、さまざまなノイズレベルや標本サイズ下でのk-NN推定量の性能はいかがなものか？
• RQ4 真のオーダーが未知である状況下で、データ駆動的マルコフオーダーm推定の実用的性能はどの程度か？
• RQ5 k-NN推定量は、既存手法（例：JVHW、GOV、GC）と比較して、因果の方向性と強度の検出においてどの程度優れているか？

主な発見

• 線形結合モデルにおいて、XからYへの因果的影響が結合強度βの増加に伴い正確に検出される。β > 0.7の領域では、確定的同期に伴いDIに急激な低下が観察され、理論的期待と整合的である。
• シグモイド結合モデルでは、k-NN推定量はXからYへのDIがβの増加に伴い増加することを正しく特定し、YからXへのDIは無視できるほど小さくなることが推定され、理論的期待と一致する。
• k-NN推定量は、β > 0.7における因果的影響の低下を、GOVおよびJVHW推定量よりも正確に捉えている。特にJVHW推定量はこの低下を検出できていない。
• 高ノイズ（γ = 0.3）下でもk-NN推定量は因果的影響の推定に一貫性を示すが、GC推定量は明確な非線形結合にもかかわらず有意な因果性を検出できていない。
• k-NNベースのマルコフオーダーm推定法は実用的で、推定プロセスにスムーズに統合され、全体の頑健性を向上させている。
• k-NN推定量は3000サンプルのみでも優れた性能を示しており、限られたデータが得られる実世界の応用に適していることが示唆される。