[論文レビュー] A Statistically Identifiable Model for Tensor-Valued Gaussian Random Variables

Bruno Scalzo Dees, Danilo P. Mandic+1 more|arXiv (Cornell University)|Nov 7, 2019

Tensor decomposition and applications参考文献 37被引用数 6

ひとこと要約

本稿では、Kronecker分解可能平均および共分散を備えた統計的に同定可能なテンソル値ガウス分布を提案し、解析的最尤推定を可能にする。モデルはグローバル最適性を達成し、パラメータ数を数百万から数千に削減し、グローバル大気温度データに応用して、99.99%の分散をランク1平均構造で説明した。

ABSTRACT

Real-world signals typically span across multiple dimensions, that is, they naturally reside on multi-way data structures referred to as tensors. In contrast to standard ``flat-view'' multivariate matrix models which are agnostic to data structure and only describe linear pairwise relationships, we introduce the tensor-valued Gaussian distribution which caters for multilinear interactions -- the linear relationship between fibers -- which is reflected by the Kronecker separable structure of the mean and covariance. By virtue of the statistical identifiability of the proposed distribution formulation, whereby different parameter values strictly generate different probability distributions, it is shown that the corresponding likelihood function can be maximised analytically to yield the maximum likelihood estimator. For rigour, the statistical consistency of the estimator is also demonstrated through numerical simulations. The probabilistic framework is then generalised to describe the joint distribution of multiple tensor-valued random variables, whereby the associated mean and covariance exhibit a Khatri-Rao separable structure. The proposed models are shown to serve as a natural basis for gridded atmospheric climate modelling.

研究の動機と目的

• 閉形式推定が可能な統計的に同定可能なテンソル値ガウス分布の欠如に応えること。
• EM法やブロック座標降下法などの反復的推定手法が局所最適解に陥るリスクを解消すること。
• 尤度ベース推論、仮説検定、ベイズ法を支援する、テンソル値データのための厳密な確率的枠組みを提供すること。
• Khatri-Rao分解可能性を用いて、複数のテンソル値確率変数の同時分布へのモデル一般化を図ること。
• グリッド化された気候データへの応用を通じて、実用的有効性を示すこと。

提案手法

• Kronecker分解可能な共分散構造を有するテンソル値ガウス分布を提案し、統計的同定性を保証する。
• 対数尤度関数を導出し、解析的最適化が可能であることを示し、閉形式での最尤推定を可能にする。
• スカラーαと要因行列{μ(n)}を用いたランク1 CPDに基づく平均パラメータ化を導入し、パラメータ数を削減する。
• Khatri-Rao分解可能な共分散構造を用いて、複数のテンソルの同時分布へのフレームワークの拡張を行う。
• 実際の大気温度データから物理的に解釈可能な成分を抽出するために、テンソル分解（CPDおよびHOSVD）を用いる。
• 数値的実装およびシミュレーションの妥当性検証にHOTTBOX Pythonツールボックスを用いる。

実験結果

リサーチクエスチョン

• RQ1 異なるパラメータ値が異なる確率分布を生じるような、統計的に同定可能なテンソル値ガウス分布を定式化できるか？
• RQ2 提案モデルが反復的最適化を回避する解析的尤度関数最大化を可能にするか？
• RQ3 本モデルは、大気気候信号のような高次元テンソルデータの多次元線形関係を効果的に捉えることができるか？
• RQ4 ランク1平均構造は、分散説明率という観点から、現実のテンソル値データをどの程度よく近似するか？
• RQ5 Khatri-Rao分解可能な構造は、複数のテンソル値確率変数間の結合的依存関係を統計的に整合的にモデル化できるか？

主な発見

• 提案モデルは統計的同定性を確保し、データから一意なパラメータ回復が可能である。
• 最尤推定量は閉形式で導出され、数値シミュレーションによる検証を通じて統計的一貫性を示した。
• αと{μ(n)}から構築されたランク1平均テンソルは、グローバル大気温度データの標本平均において99.99%の分散を説明した。
• ランク1 CPD構造を用いることで、平均のパラメータ数は20,764,800から2,182に削減された。
• モードnの共分散行列の主要固有ベクトルは、高度方向（75%の分散説明）でグローバル温度トレンドが変動を支配していることを示したのに対し、緯度および経度方向では地域的要因が支配的であった。
• モデルは物理的パターンを効果的に捉えた：赤道域の温暖化（緯度方向）、日周変動（経度方向）、高度に伴う温度低下（対流圏の挙動）。