[論文レビュー] Transfer Entropy on Rank Vectors

Dimitris Kugiumtzis|arXiv (Cornell University)|Jul 2, 2010

Neural dynamics and brain function参考文献 33被引用数 24

ひとこと要約

本稿では、応答変数の次の単一時刻の順位を全順位ベクトルではなく用いることで、符号的移転エントロピー（STE）の修正および拡張版として、順位ベクトル上の移転エントロピー（TERV）を提案する。さらに、将来の複数時刻（T>1）への一般化も行う。TERVは、ノイズ下でも情報フローの検出精度を向上させ、特にT>1を用いた場合、ノイズが多いまたは複雑な状況下でSTEおよび従来の移転エントロピー（TE）を上回る性能を示す。

ABSTRACT

Transfer entropy (TE) is a popular measure of information flow found to perform consistently well in different settings. Symbolic transfer entropy (STE) is defined similarly to TE but on the ranks of the components of the reconstructed vectors rather than the reconstructed vectors themselves. First, we correct STE by forming the ranks for the future samples of the response system with regard to the current reconstructed vector. We give the grounds for this modified version of STE, which we call Transfer Entropy on Rank Vectors (TERV). Then we propose to use more than one step ahead in the formation of the future of the response in order to capture the information flow from the driving system over a longer time horizon. To assess the performance of STE, TE and TERV in detecting correctly the information flow we use receiver operating characteristic (ROC) curves formed by the measure values in the two coupling directions computed on a number of realizations of known weakly coupled systems. We also consider different settings of state space reconstruction, time series length and observational noise. The results show that TERV indeed improves STE and in some cases performs better than TE, particularly in the presence of noise, but overall TE gives more consistent results. The use of multiple steps ahead improves the accuracy of TE and TERV.

研究の動機と目的

• 符号的移転エントロピー（STE）の定義を、標準的な移転エントロピー（TE）フレームワークに合わせることで、情報フローの一貫した推定を可能にする。
• 順位ベースの推定を用いることで、実世界のデータにおける微細構造の歪みに対して感受性が低いことから、観測ノイズに対する耐性を高める。
• 符号的移転エントロピー（STE）の将来時刻の範囲を1ステップから超える（T>1）に拡張し、結合系における遅延的または分散的情報フローを捉える。
• さまざまなシステムの複雑さ、埋め込み次元、時系列長、ノイズレベルにおいて、TERV、TE、STEの性能を評価・比較する。
• 相関和および近隣点法を用いたエントロピー推定の安定性と精度を、高次元状態空間において評価する。

提案手法

• TERVを定義する際、現在の再構築ベクトル $ \mathbf{y}_t $ に対する次の単一時刻 $ y_{t+1} $ の順位を用いることで、TEフレームワークと整合性を保つ。
• T > 1 の場合、将来の応答ベクトルに $ y_{t+1}, \ldots, y_{t+T} $ の順位を含めるように変更し、拡張された時間的範囲での情報フロー検出を可能にする。
• 特にTEおよびTERVにおいて高次元空間でのビン分割の問題を回避するため、エントロピー推定に相関和を用いる。
• 高次元性やノイズ下でもより安定した代替手法として、近隣点法によるエントロピー推定を適用する。
• 両方向の結合強度測定値を用いて受信器操作特性（ROC）曲線を構築し、性能評価のためのAUROCを計算する。
• 埋め込み次元 $ m_x, m_y $、遅延 $ \tau_x, \tau_y $、時系列長 $ N $、結合強度 $ c $、ノイズレベルを系統的に変化させ、耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 符号的移転エントロピー（STE）の定義を、全順位ベクトルではなく次の単一時刻 $ y_{t+1} $ の順位を用いるように修正することで、情報フロー推定の精度が向上するか？
• RQ2 将来の時間範囲を $ T=1 $ から $ T>1 $ に拡張することで、弱い結合系における方向性のある結合の検出にどのような影響を与えるか？
• RQ3 観測ノイズのレベルが異なる条件下で、TE、STE、TERVの性能はどのように比較されるか？
• RQ4 埋め込み次元の選択が、情報フロー測定のバイアスおよび精度に与える影響は何か？
• RQ5 TERVが将来の複数ステップの順位を用いることで、特にノイズ環境下でSTEよりもより安定的かつ正確な検出が可能になるか？

主な発見

• TERVは、定義の不整合を是正することでSTEを著しく改善し、情報フロー推定の正確性と信頼性を高めている。
• ノイズ下でも、TERVはTEおよびSTEよりも結合方向の検出性能に優れており、特にT>1の将来予測期間を用いた場合顕著である。
• $ T>1 $ を用いることで、TEおよびTERVの検出精度が向上するが、STEはその順位ベクトル構築法のため改善しない。
• すべての測定法において、埋め込み次元が高くなるとバイアスが増加するが、順位ベースの測定法（STEおよびTERV）は、特に複雑性の低い系から高い系への方向で、TEよりも大きな正のバイアスを示す。
• 相関和によるTE推定はノイズ下で分散が増加するが、STEおよびTERVはより耐性があり、ノイズの強いデータでも良好な性能を維持する。
• 近隣点法によるエントロピー推定は、ビン分割に基づく手法よりも高次元状態空間およびノイズ下でより安定している。