[論文レビュー] A Max-Norm Constrained Minimization Approach to 1-Bit Matrix Completion

Tommaso Cai, Wenxin Zhou|arXiv (Cornell University)|Sep 24, 2013

Sparse and Compressive Sensing Techniques参考文献 26被引用数 69

ひとこと要約

本稿では、非一様なサンプリング下での1ビット行列補完に対して、ランクのmax-norm緩和を用いてロバスト性を向上させる、max-norm制約付き最小化手法を提案する。Frobeniusノルム損失の最適収束速度を確立し、一般のノイズおよびサンプリングモデル下で情報理論的下界と集中不等式を用いてミニマックス最適性を証明する。

ABSTRACT

We consider in this paper the problem of noisy 1-bit matrix completion under a general non-uniform sampling distribution using the max-norm as a convex relaxation for the rank. A max-norm constrained maximum likelihood estimate is introduced and studied. The rate of convergence for the estimate is obtained. Information-theoretical methods are used to establish a minimax lower bound under the general sampling model. The minimax upper and lower bounds together yield the optimal rate of convergence for the Frobenius norm loss. Computational algorithms and numerical performance are also discussed.

研究の動機と目的

• 低ランク行列の符号観測のみが利用可能な非一様なサンプリング下での1ビット行列補完を扱う。
• ランクの代替として行列max-normを用いた凸最適化フレームワークを構築し、特定の状況下でトレース-normを上回る性能を実現する。
• 一般のノイズおよびサンプリング分布を想定したFrobeniusノルム損失のミニマックス最適収束速度を確立する。
• 上界および下界による理論的保証を提供し、提案推定量の最適性を確認する。
• 一様なサンプリングから非一様なサンプリングへの結果の拡張を含む、取り出し後に再び選択しないサンプリング（without replacement）の設定も含む。

提案手法

• 低ランク1ビット行列回復のための凸緩和として、max-norm制約付き最大尤度推定量を導入する。
• 行列max-norm $\|M\|_{\max} = \min_{M=UV^T} \|U\|_{\infty} \|V\|_{\infty}$ を定義し、ランク構造を正則化する。
• Troppの結果を用いてスペクトルノルムの境界を導出し、経験的リスクの乖離を制御する。
• i.i.d. 確率的行列 $Q_t = \varepsilon_t \frac{e_{i_t}e_{j_t}^T}{\sqrt{\pi_{i_t\cdot}\pi_{\cdot j_t}}}$ の和の期待スペクトルノルムに対する上界を導出する。
• Hoeffdingの不等式および負の相関性を用いて、取り出し後に再び選択するサンプリングから、取り出し後に再び選択しないサンプリングへの結果の拡張を行う。
• 情報理論的手法を用いて、一般のサンプリングモデル下でのミニマックス下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非一様なサンプリング下での1ビット行列補完において、max-normはトレース-normよりも優れた凸緩和を提供できるか？
• RQ2 一般のサンプリングおよびノイズモデル下での1ビット行列補完におけるFrobeniusノルム損失の最適収束速度は何か？
• RQ3 max-norm制約付き推定量はこの設定でミニマックス最適性を達成するか？
• RQ4 取り出し後に再び選択しないサンプリングでは、取り出し後に再び選択するサンプリングと比較して理論的境界はどのように振る舞うか？
• RQ5 ランダムノイズ（ジタリング）は、1ビット行列補完問題を適切に定式化するために役立つのか？

主な発見

• 提案されたmax-norm制約付き推定量は、一般の非一様なサンプリングモデル下でFrobeniusノルム損失の最適収束速度を達成する。
• ミニマックス下界と上界が一致しており、推定量がミニマックス最適であることが確認される。
• 高確率で収束速度は $C\alpha\sqrt{r} \left( \sqrt{\mu n \max\{d_1,d_2\} \log d / n} + \mu \sqrt{d_1 d_2} \log d / n \right)$ で有界である。
• 負の相関性による集中不等式が有効であるため、取り出し後に再び選択しないサンプリングへの結果の拡張が可能である。
• 理論的にmax-normはトレース-normを上回り、この文脈においてランクの優れた凸代替として機能することが示された。
• ランダムノイズは、ランク1行列の区別がつかない状況を防ぎ、1ビット行列補完問題を適切に定式化するために重要な役割を果たす。