[論文レビュー] Optimal Estimation and Completion of Matrices with Biclustering Structures

Chao Gao, Yu Lu+2 more|arXiv (Cornell University)|Dec 1, 2015

Sparse and Compressive Sensing Techniques参考文献 32被引用数 30

ひとこと要約

本稿は、ノイズがあり部分的に観測されたデータから双クラスタリング構造を持つ行列を回復するための制約付き最小二乗推定量を提案する。ガウス分布およびバイナリデータの両方において、最小最大レート最適性を確立し、確率的ブロックモデルにおける行列補完およびスパースグラフオン推定に応用する。

ABSTRACT

Biclustering structures in data matrices were first formalized in a seminal paper by John Hartigan (1972) where one seeks to cluster cases and variables simultaneously. Such structures are also prevalent in block modeling of networks. In this paper, we develop a unified theory for the estimation and completion of matrices with biclustering structures, where the data is a partially observed and noise contaminated data matrix with a certain biclustering structure. In particular, we show that a constrained least squares estimator achieves minimax rate-optimal performance in several of the most important scenarios. To this end, we derive unified high probability upper bounds for all sub-Gaussian data and also provide matching minimax lower bounds in both Gaussian and binary cases. Due to the close connection of graphon to stochastic block models, an immediate consequence of our general results is a minimax rate-optimal estimator for sparse graphons.

研究の動機と目的

• ノイズと欠損データが存在する中で双クラスタリング構造を持つ行列の推定と補完を統一的に扱う理論を構築すること。
• 低ランク行列補完の限界を解消し、より情報量が多く、より良い推定レートをもたらす双クラスタリング構造を考慮すること。
• 連続的（ガウス）および離散的（バイナリ）データモデルの両方における最小最大レート最適性を確立すること。
• ネットワークデータ、特に確率的ブロックモデル（SBMs）に応用し、スパースグラフオンのレート最適推定量を導出すること。
• 推定誤差に対する高確率上界と一致する最小最大下界を提示し、最適性を確認すること。

提案手法

• 行クラスタと列クラスタ内での値が一定であることを仮定することで、双クラスタリング構造を強制する制約付き最小二乗推定量を提案する。
• サブガウスノイズおよび欠損データの下で、推定量の平均二乗誤差（MSE）に対する高確率上界を導出する。
• ベルンシュタイン型不等式および集中不等式を用いて、推定量が真の信号行列からどれほど逸脱するかを制御する。
• 欠損項目が存在する状況における推定誤差を扱うために、対称化および経験過程技法を適用する。
• ガウス分布およびバイナリ設定の両方において、テストによる議論を用いて最小最大下界を確立し、最適性を確認する。
• 対称行列で対角成分がゼロである場合にも応用可能であり、密および疎なスケールのグラフオン推定と接続する。

実験結果

リサーチクエスチョン

• RQ1 欠損データとノイズが存在する中で、制約付き最小二乗推定量は双クラスタリング構造を持つ行列推定において最小最大最適レートを達成できるか？
• RQ2 双クラスタリングに配慮した推定の性能は、標準的な低ランク行列補完と比較して推定誤差レートにおいてどのように異なるか？
• RQ3 ガウス分布およびバイナリ観測モデルの両方において、双クラスタリング構造を持つ行列を推定する最小最大下界は何か？
• RQ4 提案手法は、特に確率的ブロックモデル（SBMs）に応用可能であり、元の確率行列の最適回復を達成できるか？
• RQ5 スパースグラフオンを推定する最小最大レートは何か？また、提案フレームワークはそのレートを達成できるか？

主な発見

• 制約付き最小二乗推定量は、サブガウスノイズ下でガウス分布およびバイナリデータモデルの両方において最小最大レート最適性を達成する。
• 推定誤差に対する上界はタイトであり、導出された最小最大下界と一致しており、提案推定量の最適性が確認される。
• 確率的ブロックモデルでは、密および疎なスケールの両方において、元の確率行列のレート最適推定量が得られる。
• フレームワークはスパースグラフオンの最小最大レート最適推定量を提供し、既知の最小最大レートと一致する。
• 一般のサブガウスノイズおよび欠損データメカニズムの下で、推定量に対する高確率集中不等式が確立される。
• 対称行列で対角成分がゼロである場合でも、提案手法は有効であり、無向ネットワークモデリングに必要な要件を満たす。