[論文レビュー] ITENE: Intrinsic Transfer Entropy Neural Estimator

Jingjing Zhang, Osvaldo Simeone+3 more|arXiv (Cornell University)|Dec 16, 2019

Model Reduction and Neural Networks参考文献 25被引用数 11

ひとこと要約

この論文は、1つの時系列から別の時系列への情報フローのうち、排他的で相乗効果を含まない部分を分離する神経推定器であるITENEを提案する。MINEにインspiredされ、KLダイバージェンスの変分バウンド、2サンプルのニューラル分類器、パスワイズ勾配推定を用いて、ITEを正確に推定する。合成データおよび実世界の金融時系列データにおいて一貫した性能を示し、相乗効果による汚染が最小限に抑えられる。

ABSTRACT

Quantifying the directionality of information flow is instrumental in understanding, and possibly controlling, the operation of many complex systems, such as transportation, social, neural, or gene-regulatory networks. The standard Transfer Entropy (TE) metric follows Granger's causality principle by measuring the Mutual Information (MI) between the past states of a source signal $X$ and the future state of a target signal $Y$ while conditioning on past states of $Y$. Hence, the TE quantifies the improvement, as measured by the log-loss, in the prediction of the target sequence $Y$ that can be accrued when, in addition to the past of $Y$, one also has available past samples from $X$. However, by conditioning on the past of $Y$, the TE also measures information that can be synergistically extracted by observing both the past of $X$ and $Y$, and not solely the past of $X$. Building on a private key agreement formulation, the Intrinsic TE (ITE) aims to discount such synergistic information to quantify the degree to which $X$ is \emph{individually} predictive of $Y$, independent of $Y$'s past. In this paper, an estimator of the ITE is proposed that is inspired by the recently proposed Mutual Information Neural Estimation (MINE). The estimator is based on variational bound on the KL divergence, two-sample neural network classifiers, and the pathwise estimator of Monte Carlo gradients.

研究の動機と目的

• 相乗効果による交絡のため、標準的な転送エントロピー（TE）が合計情報フローしか測定できないという限界を解消すること。
• 源過程Xが標的過程Yの未来をY自身の過去とは独立してどれほど予測できるかを定量化する、内在的転送エントロピー（ITE）の信頼性の高い推定器を開発すること。
• 閉形式解が不可能な複雑なシステム、特に高次元または非線形な設定においてITEの実用的推定を可能にすること。
• ITE推定器を、真のITE値が既知の合成モデルと実際の金融時系列（HSIおよびDJIA）の両方で検証し、内在的と相乗的情報フローを分離できる能力を示すこと。

提案手法

• ITEを、再パrameter化されたYの過去を条件とした、Xの過去とYの未来の条件付き相互情報量の最小化問題として定式化する。
• KLダイバージェンスの変分下界を用いて、ニューラルネットワーク最適化のための微分可能な目的関数を構築する。
• 過去のXと過去のYの同時分布と独立分布を区別する2サンプルのニューラルネットワーク分類器を訓練し、再パラメータライゼーショントリックを用いて勾配推定を可能にする。
• パスワイズ勾配推定を用いてニューラルネットワークをバックプロパゲートし、ITE目的関数のエンドツーエンド訓練を可能にする。
• 分類器には2層の隠れ層（各100ニューロン、ELU活性化関数）を用い、補助分布p(ỹ⁻|y⁻)の出力として平均と対数分散を出力する別個の200ニューロンのネットワークを含む。
• データを75%を学習用、25%を評価用に分割し、学習率0.001、τ=0.9の勾配クリッピングを用いる。

実験結果

リサーチクエスチョン

• RQ1 相乗的情報フローが存在する状況下でも、ニューラルネットワークベースの推定器は、内在的転送エントロピー（ITE）を正確に推定できるか？
• RQ2 提案されたITENE推定器は、合成モデルにおいて、標準TEとSTE（相乗的TE）と比較して、排他的な情報フローと相乗的情報フローをどれほどうまく分離できるか？
• RQ3 サンプル数Tが増加するにつれて、推定器は一貫性と正確性を維持するか？
• RQ4 ITENEは、ハン・シーンインデックスやダウ・ジョーンズインデックスのような実世界の金融時系列において、内在的情報フローを検出および定量できるか？

主な発見

• しきい値λを有する合成モデルでは、ITENE推定値は真のITEに近く追従し、λ ≤ -2およびλ ≥ 2ではSTEがほぼゼロとなり、情報フローが純粋に内在的または存在しないことが示された。
• 中間のλ値（例：λ=0）では、推定器は無視できない程度のSTEを検出しており、XとYの過去を同時に観測することでYの予測が向上することを確認し、内在的と相乗的成分への分解が妥当であることを検証した。
• サンプル数Tが増加するにつれて、すべての推定値（TE、ITE、STE、TENE）が真の値に収束し、ITENE推定器の一貫性を示した。
• 実世界のHSI-DJIA解析において、DJIAからHSIへの情報フローは、相乗的要因よりもはるかに内在的であることがITENEによって示された。TEがITEよりも顕著に高いことから、予測力の大部分がDJIA自身の過去に起因しており、共同効果によるものではないことが示された。
• 従来のTEが相乗的寄与による影響により因果的影響を過大評価する可能性がある複雑で非線形なシステムにおいて、この手法は内在的情報フローを効果的に分離できた。