[論文レビュー] Estimation of low-rank tensors via convex optimization

Ryota Tomioka, Kohei Hayashi+1 more|arXiv (Cornell University)|Oct 5, 2010

Sparse and Compressive Sensing Techniques参考文献 37被引用数 159

ひとこと要約

本稿では、トレースノルム正則化を用いた凸最適化アプローチを3つ提案し、低ランクテンソルの推定を可能にし、自動ランク推定とグローバル収束を実現する。これらの手法は、合成および実世界のデータセットにおいて、予測精度、速度、多次元構造の回復の面で、従来のEMベースのタッカー分解を上回る。特に、1つの手法では、低スムプリングレートにおける再構成性能にきわめて明確な段階的転移が観察された。

ABSTRACT

In this paper, we propose three approaches for the estimation of the Tucker decomposition of multi-way arrays (tensors) from partial observations. All approaches are formulated as convex minimization problems. Therefore, the minimum is guaranteed to be unique. The proposed approaches can automatically estimate the number of factors (rank) through the optimization. Thus, there is no need to specify the rank beforehand. The key technique we employ is the trace norm regularization, which is a popular approach for the estimation of low-rank matrices. In addition, we propose a simple heuristic to improve the interpretability of the obtained factorization. The advantages and disadvantages of three proposed approaches are demonstrated through numerical experiments on both synthetic and real world datasets. We show that the proposed convex optimization based approaches are more accurate in predictive performance, faster, and more reliable in recovering a known multilinear structure than conventional approaches.

研究の動機と目的

• 非凸最適化におけるタッカーテンソル分解の限界、特に悪い局所最適解や停留点への収束を是正すること。
• 低ランク行列における成功したトレースノルム正則化を、多次元テンソルへと拡張し、ロバストでグローバル最適な推定を可能にすること。
• 事前の指定が不要な自動ランク推定を可能にし、信頼性を高め、ユーザー依存を低減すること。
• 特に実世界の応用において、コアテンソルの解釈可能性を向上させるためのヒューリスティックを提案すること。
• 従来のEMベースの手法と比較して、部分観測されたテンソルからの再構成性能が優れていることを示すこと。

提案手法

• 最初の手法「マトリクスとして」は、テンソルを1つのモードに沿って展開し、そのマトリクス化されたテンソルにトレースノルム正則化を適用する。
• 2番目の手法「制約」は、すべてのテンソルモードに同時にトレースノルム正則化を適用し、各モードにおける低ランク構造を強制する。
• 3番目の手法「混合」は、テンソルをK個の低ランク成分の和としてモデル化し、それぞれの成分がそのモードにおいて低ランクであるように正則化する。
• 3つの定式化とも凸最小化問題であり、一意なグローバル最小値を保証し、交替方向乗数法（ADMM）を用いて効率的に解ける。
• 各アプローチに対して双対問題が導出され、ADMM最適化中の収束を監視するために双対ギャップの計算が用いられる。
• 因子行列の特異値分解に基づく重み付けを用いるヒューリスティックが提案され、コアテンソルの解釈可能性が向上する。

実験結果

リサーチクエスチョン

• RQ1 トレースノルム正則化を用いた凸最適化が、多次元テンソルへと効果的に拡張可能であり、グローバル収束と一意な解を保証できるか？
• RQ2 提案手法が事前の指定なしにテンソルランクを自動的に推定できるか？
• RQ3 提案された3つのアプローチ（「マトリクスとして」、「制約」、「混合」）は、部分観測されたテンソルにおいて、予測性能とロバスト性の面でどのように比較されるか？
• RQ4 行列補完と同様に、低スムプリングレートにおける再構成精度にきめ細かな段階的転移が観察されるか？
• RQ5 簡単な後処理ヒューリスティックによって、コアテンソルの解釈可能性が意味的に向上するか？

主な発見

• 提案された凸最適化ベースのアプローチは、合成および実世界のデータセットにおいて、従来のEMベースのタッカー分解よりも顕著に高い予測精度を達成した。
• 非凸アプローチと比較して、より高速かつ信頼性が高く、元の多次元構造の回復が優れていた。
• 提案手法のうち1つは、次元が固定された場合、元のテンソルのkランクの和にほぼ比例するスムプリングレートで、再構成性能が「悪い」から「ほぼ完璧なフィット」に急激に遷移する閾値特性を示した。
• 「混合」アプローチは、テンソルがすべてのモードで同時に低ランクでない場合でも、柔軟性と性能のバランスに特に優れていると示された。
• 提案されたヒューリスティックは、アミノ酸フラーレンスセンシティビティデータセットを用いた実験で、コアテンソルの解釈可能性が向上していることを示した。
• 双対ギャップの計算により、収束の信頼性ある監視が可能となり、ADMMベースのソルバーは大規模な最適化問題を効率的に解ける。