[論文レビュー] Tensor denoising and completion based on ordinal observations

Chan‐Woo Lee, Miaoyan Wang|arXiv (Cornell University)|Feb 16, 2020

Tensor decomposition and applications参考文献 40被引用数 4

ひとこと要約

本稿では、不完全で順序尺度の観測から低ランクテンソルのノイズ除去と補完を行うためのマルチリニア累積リンクモデルを提案する。ランク制約付きM-推定量を導入し、平均二乗誤差が最小最大最適であり、収束速度 $ olimitsackslash mathcal extasciitilde O(d^{-(K-1)})$ を達成する。これにより、$ olimits ilde{ olimits} olimitsackslash mathcal extasciitilde O(Kd)$ 個の量子化済み観測値のみで、順序$K$のテンソルを一貫して回復可能である。

ABSTRACT

Higher-order tensors arise frequently in applications such as neuroimaging, recommendation system, social network analysis, and psychological studies. We consider the problem of low-rank tensor estimation from possibly incomplete, ordinal-valued observations. Two related problems are studied, one on tensor denoising and the other on tensor completion. We propose a multi-linear cumulative link model, develop a rank-constrained M-estimator, and obtain theoretical accuracy guarantees. Our mean squared error bound enjoys a faster convergence rate than previous results, and we show that the proposed estimator is minimax optimal under the class of low-rank models. Furthermore, the procedure developed serves as an efficient completion method which guarantees consistent recovery of an order-$K$ $(d,\ldots,d)$-dimensional low-rank tensor using only $ ilde{\mathcal{O}}(Kd)$ noisy, quantized observations. We demonstrate the outperformance of our approach over previous methods on the tasks of clustering and collaborative filtering.

研究の動機と目的

• 協調フィルタリング や ニューロイメージング などの応用で一般的な、不完全で離散的・順序尺度の観測からの低ランクテンソル推定の課題に対処する。
• カテゴリーの逆転に対して不変性を保てない、またはカテゴリーの統合・分割に対して一貫性のない従来のモデルの限界を克服する。
• 順序データにおける低ランク構造を仮定した、統計的に最適なテンソルノイズ除去および補完手法を開発する。
• このような問題に対する情報理論的限界に一致する理論的収束速度および標本複雑度の境界を確立する。
• 高レベルの量子化・ノイズを含む観測からのテンソル回復に実用的かつ一貫性のあるアルゴリズムを提供する。

提案手法

• 順序尺度カテゴリーラベルの逆転に対して不変性を保証するマルチリニア累積リンクモデルを提案し、これによりカテゴリーラベルの反転に対してロバストである。
• ノイズがかかる量子化観測から低ランク信号テンソルを推定するため、ランク制約付きM-推定量を定式化する。
• 凸緩和の計算的・統計的欠陥を避けるために、非凸最適化の逐次的アルゴリズムを用いて推定問題を解く。
• 推定されたテンソルからの主要成分を抽出するために、Tucker分解を活用し、クラスタリングなどの後続タスクに応用する。
• 最小最大下界を導出するために、Varshamov-GilbertおよびLe Camの不等式に基づく検定フレームワークを適用する。
• 濃度不等式および低ランクテンソル上のフロベニウスノルムの一様バインドを用いて、理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 観測が順序尺度的かつ高レベルに量子化されている場合、テンソル推定手法が最小最大最適な誤差率を達成できるか？
• RQ2 低ランクテンソルの一貫した回復に必要な最小のノイズを含む順序尺度観測数はいくつか？
• RQ3 統計的効率性および収束速度の観点から、提案手法は既存手法と比べてどのように差がつくか？
• RQ4 本手法は、カテゴリーの逆転に対して不変性を保ちつつ、カテゴリーの統合・分割に対しても一貫性を保っているか？
• RQ5 協調フィルタリングおよびクラスタリングタスクにおいて、提案手法は従来の二値または連続的テンソルモデルを上回っているか？

主な発見

• 提案された推定量は、平均二乗誤差の上界として $\mathcal{O}(d^{-(K-1)})$ を達成する。これは、先行研究の $\mathcal{O}(d^{-(K-1)/2})$ よりも速く、低ランクモデル下で最小最大最適である。
• 本手法は、$\tilde{\mathcal{O}}(Kd)$ 個のノイズを含む量子化観測値のみで、順序$K$の $(d,\ldots,d)$ 次元の低ランクテンソルを一貫して回復可能である。
• 累積リンクモデルは、カテゴリの統合・分割に対しても一貫したパラメータ解釈を保証するパルミッドロム不変性を有するが、これに反し、従来のモデルはそれらを満たさない。
• 数値実験では、特に実際のニューロイメージングデータにおいて、協調フィルタリングおよびクラスタリングタスクで既存手法を上回る性能を示した。
• 理論的分析により、本モデル下で、量子化された順序尺度観測が連続的観測と同等の情報理論的収束速度に達することが確認された。
• 非凸逐次アルゴリズムは、誤差率および計算効率の両面で、凸緩和手法を上回っており、特に高次元テンソルに対して顕著な優位性を示した。