[論文レビュー] Tensor Graphical Model: Non-convex Optimization and Statistical Inference

Xiang Lyu, Will Wei Sun+4 more|arXiv (Cornell University)|Sep 15, 2016

Tensor decomposition and applications参考文献 91被引用数 4

ひとこと要約

本稿では、Kronecker 構造を仮定したテンソルグラフィカルモデルにおけるスパース精度行列の推定のための非凸最適化フレームワーク、Tlasso を提案する。最適収束速度を確立し、誤差補正された推論手順を構築し、FDR 制御を実現することで、K ≥ 3 の場合、1 つのテンソルサンプルでも有効な統計的仮説検定が可能になる。

ABSTRACT

We consider the estimation and inference of graphical models that characterize the dependency structure of high-dimensional tensor-valued data. To facilitate the estimation of the precision matrix corresponding to each way of the tensor, we assume the data follow a tensor normal distribution whose covariance has a Kronecker product structure. A critical challenge in the estimation and inference of this model is the fact that its penalized maximum likelihood estimation involves minimizing a non-convex objective function. To address it, this paper makes two contributions: (i) In spite of the non-convexity of this estimation problem, we prove that an alternating minimization algorithm, which iteratively estimates each sparse precision matrix while fixing the others, attains an estimator with an optimal statistical rate of convergence. (ii) We propose a de-biased statistical inference procedure for testing hypotheses on the true support of the sparse precision matrices, and employ it for testing a growing number of hypothesis with false discovery rate (FDR) control. The asymptotic normality of our test statistic and the consistency of FDR control procedure are established. Our theoretical results are backed up by thorough numerical studies and our real applications on neuroimaging studies of Autism spectrum disorder and users' advertising click analysis bring new scientific findings and business insights. The proposed methods are encoded into a publicly available R package Tlasso.

研究の動機と目的

• 高次元テンソル値データにおける条件付き独立構造を、Kronecker 構造を仮定した共分散モデルを用いて推定すること。
• テンソルグラフィカルモデルにおける非凸罰則付き尤度推定の課題に取り組むこと。
• 精度行列推定のための計算的に効率的で、証明可能な統計的保証を持つアルゴリズムを開発すること。
• スパース精度行列のサポートに対する誤差発生率制御（FDR）を伴う有効な統計的推論を可能にすること。
• 本手法の実神経画像データおよび広告クリックデータ応用における実用性を示すこと。

提案手法

• 交互最小化アルゴリズム Tlasso は、他の要因を固定した上で各モード固有の精度行列を逐次推定し、最適な収束速度を達成する。
• 本手法は、テンソル共分散をモデル化するための Konecker 積構造を持つ罰則付き尤度目的関数を用いることで次元削減を実現する。
• 個々のエッジ成分に関する漸近正規分布推論を可能にするために、誤差補正された検定統計量を構築する。
• 誤差補正された検定統計量に対するデータ駆動型しきい値処理により、誤り発生率（FDR）制御を達成する。
• 理論的分析により、正則性条件の下で推定レートのミニマックス最適性と FDR 制御の一致性を確立する。
• アルゴリズムは、再現可能性を確保するため、公開の R パッケージ Tlasso として実装されている。

実験結果

リサーチクエスチョン

• RQ1 交互最小化アルゴリズムは、非凸テンソルグラフィカルモデル推定において最適な統計的レートを達成できるか？
• RQ2 提案された誤差補正推論手順は、高次元設定下でも漸近的に正規分布に従う検定統計量を生成するか？
• RQ3 誤り発生率（FDR）制御された多重仮説検定は、テンソルグラフィカルモデルにおけるエッジ選択に一貫して適用可能か？
• RQ4 特に K ≥ 3 の場合、1 つのテンソルサンプルしか利用できない状況で本手法の性能はいかがなものか？
• RQ5 有限サンプルにおいて、テンソルの次元とサンプルサイズの増加に伴い、本手法のスケーラビリティはどのように変化するか？

主な発見

• Tlasso アルゴリズムは、各モード固有の精度行列について、Frobenius 範囲収束速度 √(mₖ(mₖ + sₖ)log mₖ / (n m)) を達成し、これはミニマックス最適である。
• 非表現性条件（irrepresentability condition）の下で、本手法は max 範囲で √(mₖ log mₖ / (n m)) のレート、スペクトル範囲で dₖ√(mₖ log mₖ / (n m)) のレートを達成し、両者とも最適である。
• シミュレーションによるQQプロットにより、誤差補正された検定統計量が小さなサンプルサイズでも漸近正規分布に従うことが確認された。
• 実証的 FDP（誤り発生率）は理論的限界 τ に非常に近づき、事前に指定された水準（5% および 10%）で FDR 制御が維持された。
• サンプルサイズが増加するにつれて実証的パワーは 100% に近づき、10×10×10 のテンソルで近隣構造を持つ場合、n ≥ 20 で十分なパワー（例：70% 以上）が得られた。
• 本手法は、自閉症スペクトラム障害の fMRI データにおいて生物学的に意味のある結合パターンを同定し、広告クリックデータにおいて意味のあるユーザ行動構造を特定した。