[論文レビュー] A Unified Framework for Structured Low-rank Matrix Learning

Pratik Jawanpuria, Bamdev Mishra|arXiv (Cornell University)|Apr 24, 2017

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、低ランク性と構造的制約を分離する新しい因子分解を用いて、構造的低ランク行列学習のための統一されたリーマン枠組みを提案する。最適化をリーマン的スペクトラヒドロン多様体上に定式化することで、効率的な共役勾配法および信頼域法が可能となり、行列補完、ハンケル学習、マルチタスク学習の各タスクで優れた性能を示す。

ABSTRACT

We consider the problem of learning a low-rank matrix, constrained to lie in a linear subspace, and introduce a novel factorization for modeling such matrices. A salient feature of the proposed factorization scheme is it decouples the low-rank and the structural constraints onto separate factors. We formulate the optimization problem on the Riemannian spectrahedron manifold, where the Riemannian framework allows to develop computationally efficient conjugate gradient and trust-region algorithms. Experiments on problems such as standard/robust/non-negative matrix completion, Hankel matrix learning and multi-task learning demonstrate the efficacy of our approach. A shorter version of this work has been published in ICML'18.

研究の動機と目的

• 非負性やハンケル構造などの特定の構造的制約を満たす低ランク行列を学習する課題に対処すること。
• 低ランク性と構造的制約を同時に満たすが、計算効率を損なわない統一された最適化枠組みを構築すること。
• 構造的低ランク行列が一般的な応用分野、例えば行列補完、マルチタスク学習、システム同定において、効果的な学習を可能にすること。
• スケーラブルで安定したアルゴリズムをサポートする、リーマン的スペクトラヒドロン多様体上での幾何的最適化アプローチを提供すること。

提案手法

• 低ランク性と構造的制約を別々の要因に分離する新しい行列因子分解を導入する。
• 制約を自然に表現できるリーマン的スペクトラヒドロン多様体上で最適化問題を定式化する。
• 多様体上での効率的で安定した最適化のため、リーマン的共役勾配法および信頼域法を採用する。
• 反復的更新中に低ランク性および構造的性質を保持するために、多様体の幾何的性質を活用する。
• 射影ステップを回避し、最適化全体を通して制約の整合性を維持するために、多様体の構造を活用する。
• ロバストおよび非負行列補完、ハンケル行列学習、マルチタスク学習を含む多様な問題にこの枠組みを適用する。

実験結果

リサーチクエスチョン

• RQ1 行列学習における低ランク性と構造的制約を、最適化と一般化の両面で効果的に分離する方法は何か？
• RQ2 多様な構造的低ランク行列問題を効率的に処理できる統一されたリーマン枠組みを設計できるか？
• RQ3 リーマン的スペクトラヒドロン多様体上で、構造的低ランク学習に優れた収束性と安定性を示す最適化アルゴリズムは何か？
• RQ4 複数の行列学習タスクにおいて、既存の手法と比較して、精度とスケーラビリティの点で本手法はどのように優れているか？
• RQ5 ノイズが多い、または不完全なデータのような困難な状況において、幾何的定式化は性能向上にどの程度寄与するか？

主な発見

• 提案されたリーマン枠組みは、最適化の全過程で構造的および低ランク制約を保持することで、標準的およびロバストな行列補完タスクで最先端の性能を達成した。
• 特に非凸的・非滑らかな設定において、標準的なノルムに基づくアプローチと比較して、収束性と安定性に優れた性能を示した。
• ハンケル行列学習の実験では、限られた観測からも、構造的低ランク行列を効果的に回復できた。
• マルチタスク学習においては、タスク固有の制約を尊重しながら、タスク間で共有される低ランク構造を学習できた。
• リーマン的信頼域法および共役勾配法の活用により、スペクトラヒドロン多様体上でスケーラブルで効率的な最適化が実現された。