[論文レビュー] Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality

Changxiao Cai, H. Vincent Poor+1 more|arXiv (Cornell University)|Jun 15, 2020

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

本稿は、ノイズあり不完全観測下における非凸テンソル補完の分布理論を構築し、未観測のテンソル要素および要因の有効でデータ駆動型の信頼区間を可能にする。ノイズの不均一分散および事前知識のない誤差分布に対しても完全に適応し、到達できないℓ₂推定精度を達成することで統計的最適性を確立する。

ABSTRACT

We study the distribution and uncertainty of nonconvex optimization for noisy tensor completion -- the problem of estimating a low-rank tensor given incomplete and corrupted observations of its entries. Focusing on a two-stage estimation algorithm proposed by Cai et al. (2019), we characterize the distribution of this nonconvex estimator down to fine scales. This distributional theory in turn allows one to construct valid and short confidence intervals for both the unseen tensor entries and the unknown tensor factors. The proposed inferential procedure enjoys several important features: (1) it is fully adaptive to noise heteroscedasticity, and (2) it is data-driven and automatically adapts to unknown noise distributions. Furthermore, our findings unveil the statistical optimality of nonconvex tensor completion: it attains un-improvable $\ell_{2}$ accuracy -- including both the rates and the pre-constants -- when estimating both the unknown tensor and the underlying tensor factors.

研究の動機と目的

• ノイズあり不完全観測下における非凸テンソル補完推定量の厳密な分布理論の構築。
• 未観測のテンソル要素および潜在テンソル要因の有効かつ短い信頼区間の構築。
• 未知のノイズの不均一分散および分布形に対応する不確実性の定量化の実現。
• ℓ₂推定誤差の観点から非凸テンソル補完の統計的最適性の確立、前定数を含む。
• ノイズ構造の事前知識を必要としないデータ駆動型推論フレームワークの提供。

提案手法

• テンソル補完のための、交互最小二乗に基づく二段階非凸最適化アルゴリズムを採用する。
• leave-one-out解析およびマルティングール差分列を用いて、非凸推定量のテンソル要因および要素の同時漸近正規性を導出する。
• 推定誤差を分離し、微細スケールでの分布的保証を導出するための新規なleave-one-out系列構築法を用いる。
• 不均一分散ノイズに適応するデータ駆動型分散推定を通じて、推定標準誤差を用いて信頼区間を確立する。
• 分布近似の収束速度を制御するため、テンソル値確率変数に対するBerry-Esseen型定理を適用する。
• 非凸推定量が、テンソルおよび要因推定の両方において最小最大最適なℓ₂リスクを達成することを証明する（前定数を含む）。

実験結果

リサーチクエスチョン

• RQ1 ノイズあり不完全データ下における非凸テンソル補完において、未観測のテンソル要素および要因の有効な信頼区間を構築できるか？
• RQ2 非凸推定量の分布は微細スケールでどのように振る舞い、正確に特徴づけられるか？
• RQ3 推論手順は未知のノイズの不均一分散および分布形に適応可能か？
• RQ4 非凸テンソル補完法はℓ₂推定誤差の観点から統計的に最適か？
• RQ5 非凸推定量の分布と元のテンソル構造との関係は何か？

主な発見

• 非凸推定量は、テンソルおよびその要因の両方において、到達できないℓ₂推定誤差率を達成し、最適な前定数を含む。
• テンソル要素および要因の信頼区間は有効であり短く、漸近的に正確な被覆確率を持つ。
• ノイズの不均一分散に完全に適応し、ノイズ分散や分布の事前知識を一切必要としない。
• 推論フレームワークはデータ駆動的であり、調整パラメータやノイズの分布仮定を必要としない。
• 分布理論は微細スケールまで成立し、高精度な不確実性の定量化を可能にする。
• 理論的保証は数値実験により裏付けられており、正確な被覆と狭い区間を示している。