[論文レビュー] On matrix estimation under monotonicity constraints

Sabyasachi Chatterjee, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Jun 10, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用数 14

ひとこと要約

この論文は、行と列の両方で非減少であるとされる未知行列の最小二乗推定量（LSE）を研究する。LSEが最悪ケースリスクとして $ n^{-1/2} $ のオーダー（対数要因を除いて）を達成することを確立し、これはミニマックス最適である。また、行列に有界な長方形ブロックが存在する場合には、パラメトリックな $ n^{-1} $ のレートを達成する変数適応性を示す。

ABSTRACT

We consider the problem of estimating an unknown $n_1 imes n_2$ matrix $\mathbf{θ^*}$ from noisy observations under the constraint that $\mathbfθ^*$ is nondecreasing in both rows and columns. We consider the least squares estimator (LSE) in this setting and study its risk properties. We show that the worst case risk of the LSE is $n^{-1/2}$, up to multiplicative logarithmic factors, where $n = n_1 n_2$ and that the LSE is minimax rate optimal (up to logarithmic factors). We further prove that for some special $\mathbfθ^*$, the risk of the LSE could be much smaller than $n^{-1/2}$; in fact, it could even be parametric i.e., $n^{-1}$ up to logarithmic factors. Such parametric rates occur when the number of "rectangular" blocks of $\mathbfθ^*$ is bounded from above by a constant. We derive, as a consequence, an interesting adaptation property of the LSE which we term variable adaptation -- the LSE performs as well as the oracle estimator when estimating a matrix that is constant along each row/column. Our proofs borrow ideas from empirical process theory and convex geometry and are of independent interest.

研究の動機と目的

• 行と列の両方で単調性制約を満たす $ n_1 \times n_2 $ 行列の推定における最小二乗推定量（LSE）のリスク特性を研究すること。
• LSEの最悪ケースリスクを確立し、対数要因を除いてミニマックスレート最適であることを証明すること。
• 真の行列が低い内部次元（例えば、有界な数の長方形ブロック）を持つ場合のLSEの適応的挙動を調査すること。
• LSEが問題の「内部次元」に適応し、特定の構造的設定下でオラクル推定量と同等に動作することを示すこと。

提案手法

• LSEのリスク行動を分析するため、経験過程理論、近似理論、凸幾何学の道具を用いる。
• 適切に構築された、バイナリーベクトルによってインデックス化された単調行列の集合を用いて、一般化されたFanoの不等式を用いてミニマックス下界を導出する。
• 行列を $ k \times k $ ブロックに分割し、$ \pm 1 $-値パラメータを用いて制御された変動を持つ単調行列を定義する。
• Pinskerの不等式を用いて、異なる単調行列に対応するガウス測度間の全 Variation 距離を評価する。
• メトリックエントロピーと接線錐の議論を用いてリスクを分析し、LSEの適応性と収束速度を特徴付ける。
• LSEの構造的性質を活かし、制約集合 $ \mathcal{M} $ の性質を保証することで、構築された行列が常に単調性を満たすようにする。

実験結果

リサーチクエスチョン

• RQ1 単調行列推定におけるLSEの最悪ケースリスクは何か？そして、これはミニマックス最適か？
• RQ2 特定の構造的行列に対して、LSEは $ n^{-1/2} $ よりも速い収束速度を達成できるか？
• RQ3 LSEは、真の行列の内部複雑性（例えば、定数個の定数長方形ブロック）に適応するか？
• RQ4 LSEの性能は、事前にブロック構造を知っているオラクル推定量と比べてどうか？
• RQ5 真の行列のブロック数が推定リスクを決定づける役割を果たすか？

主な発見

• LSEの最悪ケースリスクは、ある普遍定数 $ C $ を用いて $ C n^{-1/2} \log n $ で上から抑えられ、このレートは対数要因を除いてミニマックス最適である。
• 有界な数の長方形ブロック（つまり、定数ブロック構造）を持つ行列に対しては、LSEは $ C n^{-1} \log n $ のパラメトリックレートを達成し、$ n^{-1/2} $ よりも著しく速い。
• LSEは変数適応性を示す：問題の内部次元に自動的に適応し、ブロック構造を事前に知っているオラクル推定量と同等に動作する。
• 最悪ケースリスクのミニマックス下界は $ \sigma \sqrt{D}/n^{1/2} $ のオーダーであり、上界と対数要因を除いて一致するため、ミニマックス最適性が確認される。
• リスクバウンドは全 Variation $ D(\boldsymbol{\theta}^*) = (\theta^*_{n_1n_2} - \theta^*_{11})^2 $ に依存し、$ D $ が小さい場合にレートが改善する。
• 下界の構築は、$ \ell^2 $ 分離と全 Variation 距離が制御された $ 2^{k^2} $ 個の単調行列の集合に依存し、鋭いミニマックスレートが得られる。