[論文レビュー] Generic Variance Bounds on Estimation and Prediction Errors in Time Series Analysis: An Entropy Perspective

Song Fang, Mikael Skoglund+3 more|arXiv (Cornell University)|Apr 9, 2019

Statistical Mechanics and Entropy参考文献 22被引用数 6

ひとこと要約

本稿は、情報理論的アプローチを用いて、時系列における推定誤差および予測誤差の一般的な分散バウンドを導出する。誤差バウンドが、過去の観測値を条件とする目的変数の条件付きエントロピーに依存することを示す。主な貢献は、漸近的に最適な予測が、創発過程（innovation process）が白色ガウス的であることと必要十分であることを示したことである。これは、古典的な結果（Kolmogorov–Szegö や Wiener–Masani）を非ガウス的かつ多段階予測の設定に一般化したものである。

ABSTRACT

In this paper, we obtain generic bounds on the variances of estimation and prediction errors in time series analysis via an information-theoretic approach. It is seen in general that the error bounds are determined by the conditional entropy of the data point to be estimated or predicted given the side information or past observations. Additionally, we discover that in order to achieve the prediction error bounds asymptotically, the necessary and sufficient condition is that the "innovation" is asymptotically white Gaussian. When restricted to Gaussian processes and 1-step prediction, our bounds are shown to reduce to the Kolmogorov-Szegö formula and Wiener-Masani formula known from linear prediction theory.

研究の動機と目的

• 任意の因果的推定器または予測器に適用可能な、時系列における推定誤差および予測誤差の普遍的な分散バウンドを確立すること。
• ガウス過程や1ステップ予測にとどまらない、一般の分布および多段階予測への古典的線形予測理論の拡張。
• 漸近的予測誤差バウンドに到達するための必要十分条件を明確化すること：創発過程が漸近的に白色ガウス的であること。
• 1つの情報理論的枠組みの下で、Kolmogorov–Szegö および Wiener–Masani の公式を統一的かつ一般化すること。
• 非ガウス性および多段階予測の影響を、相互情報量および負エントロピー率を含む追加項として定量化すること。

提案手法

• 推定または予測対象のデータポイントにおける不確実性の基本的尺度として、側情報または過去の観測値を条件とする条件付きエントロピーを用いる。
• 情報理論的不等式を適用して、推定誤差および予測誤差の分散の下界を導出する。
• 予測後の残差としての「創発」の概念を導入し、その創発過程が漸近的に白色ガウス的であることが、基本的誤差バウンドに到達するための必要十分条件であることを示す。
• 1ステップ予測と比較して、mステップ予測の一般化されたバウンドを導出し、それに相互情報量項が追加されることを示す。
• 非ガウス過程に対しては、ガウス性からの逸脱を定量化する負エントロピー率項を導入し、非ガウス性が高くなるほど誤差バウンドが小さくなることを示す。
• 古典的結果との関係を確立し、ガウス過程および1ステップ予測の状況では、バウンドが Kolmogorov–Szegö および Wiener–Masani の公式に還元されることを示す。

実験結果

リサーチクエスチョン

• RQ1 時系列における推定誤差および予測誤差の分散の根本的な情報理論的限界は、母集団分布に依存せずにどのようなものか？
• RQ2 漸近的に最小の予測誤差分散に到達するためには、創発過程が満たすべき条件は何か？
• RQ3 非ガウス過程において、1ステップからmステップ予測に拡張した場合、誤差バウンドはどのように変化するか？
• RQ4 非ガウス性は予測誤差分散にどのような影響を及ぼし、その影響はどのように定量化できるか？
• RQ5 提案されたバウンドは、ガウス分布および1ステップ予測の範囲を超えて、どのようにして古典的な Kolmogorov–Szegö および Wiener–Masani の公式を一般化するか？

主な発見

• 予測誤差の分散は、過去の観測値を条件とする目的変数の条件付きエントロピーを含む式によって下界で抑えられ、これが残存不確実性を定量化する。
• 漸近的に基本的予測誤差バウンドに到達するための必要十分条件は、創発過程が漸近的に白色ガウス的であることである。
• 一般過程におけるmステップ予測では、予測の複雑さが増すに従い、mとともに増加する相互情報量項がバウンドに追加される。
• 非ガウス過程の1ステップ予測では、バウンドに負エントロピー率に比例する項が含まれており、過程がよりガウスに近づくほどその項が小さくなる。
• ガウス過程および1ステップ予測の特別な場合において、導出されたバウンドは、正確に古典的な Kolmogorov–Szegö および Wiener–Masani の公式に還元される。
• バウンドはタイトであり、等号成立は予測誤差過程が漸近的に白色ガウス的である場合に成立し、すべての利用可能な情報を抽出したことを示している。