[論文レビュー] Side Information in Robust Principal Component Analysis: Algorithms and Applications

Niannan Xue, Yannis Panagakis+1 more|arXiv (Cornell University)|Feb 2, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 3

ひとこと要約

本稿は、低ランク成分の粗い近似値やその列・行空間といったノイズを含む補助情報（side information）を組み込むことで、回復精度とロバスト性を向上させる、ロバスト主成分分析（RPCA）の新規な凸最適化フレームワークを提案する。この補助情報を、証明可能に収束するADMMソルバーを介してPCP定式化に統合することで、背景抽出や顔認識を含む4つの応用分野で6つの先行手法を上回り、必要なトレーニングサンプル数を減らすことで計算コストも低減する。

ABSTRACT

Dimensionality reduction and noise removal are fundamental machine learning tasks that are vital to artificial intelligence applications. Principal component analysis has long been utilised in computer vision to achieve the above mentioned goals. Recently, it has been enhanced in terms of robustness to outliers in robust principal component analysis. Both convex and non-convex programs have been developed to solve this new formulation, some with exact convergence guarantees. Its effectiveness can be witnessed in image and video applications ranging from image denoising and alignment to background separation and face recognition. However, robust principal component analysis is by no means perfect. This dissertation identifies its limitations, explores various promising options for improvement and validates the proposed algorithms on both synthetic and real-world datasets. Common algorithms approximate the NP-hard formulation of robust principal component analysis with convex envelopes. Though under certain assumptions exact recovery can be guaranteed, the relaxation margin is too big to be squandered. In this work, we propose to apply gradient descent on the Burer-Monteiro bilinear matrix factorisation to squeeze this margin given available subspaces. This non-convex approach improves upon conventional convex approaches both in terms of accuracy and speed. On the other hand, oftentimes there is accompanying side information when an observation is made. The ability to assimilate such auxiliary sources of data can ameliorate the recovery process. In this work, we investigate in-depth such possibilities for incorporating side information in restoring the true underlining low-rank component from gross sparse noise. Lastly, tensors, also known as multi-dimensional arrays, represent real-world data more naturally than matrices. It is thus advantageous to adapt robust principal component analysis to tensors. Since there is no exact equivalence between tensor rank and matrix rank, we employ the notions of Tucker rank and CP rank as our optimisation objectives. Overall, this dissertation carefully defines the problems when facing real-world computer vision challenges, extensively and impartially evaluates the state-of-the-art approaches, proposes novel solutions and provides sufficient validations on both simulated data and popular real-world datasets for various mainstream computer vision tasks.

研究の動機と目的

• ドメイン固有の事前知識が欠如しているため、標準RPCAが退化または部分最適な解を生成するという限界を是正すること。
• 低ランク成分のノイズを含む近似値を補助情報として統合する、ロバストで凸な最適化フレームワークを構築すること。
• 統一されたアルゴリズムフレームワーク内で、低ランク行列の列空間および行空間に関する事前知識を効果的に活用すること。
• 背景抽出、顔のノイズ除去、認識タスクを含む多様なコンピュータビジョン応用分野において、提案手法の有効性と汎用性を実証すること。
• 補助情報を用いることで、RPCAの推論的制約（transductive constraint）を軽減し、より少ないサンプルで効果的な学習が可能になるようにすること。

提案手法

• 低ランク成分 L0 のノイズを含む近似値 W を、制約付き定式化を通じてRPCA問題に組み込む新しい凸最適化モデルを導入する。
• 収束性が保証される増大ラグランジュ法と交替方向乗数法（ADMM）を用いて、得られた最適化問題を解く。
• 低ランク行列の列空間（Xを介して）および行空間（Yを介して）に関する補助情報を統合することで、より柔軟かつ正確な回復を可能にする。
• 低ランク成分にはノルムペナルティ、スパース成分には l1-ノルムペナルティを適用しつつ、データ整合性と補助情報の制約を強制する。
• ADMMの部分問題に対して閉形式解を導出する。これには、l1-ノルムに対するソフトスレッショングおよび、ノルムに対する特異値スレッショングが含まれる。
• 2段階の最適化プロセスを採用する：まず補助情報を用いて低ランク行列 H を推定し、次にスパース成分 S と残差を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 背景の粗い推定値やニュートラルな顔といったノイズを含む補助情報は、RPCAにおける低ランク行列回復の精度を向上させ得るか？
• RQ2 低ランク行列の列空間および行空間に関する補助情報を、RPCAフレームワークに効果的に統合する方法は何か？
• RQ3 補助情報を組み込むことで、トレーニングに必要なサンプル数を削減でき、RPCAの推論的制約を軽減できるか？
• RQ4 提案手法は、多様な実世界データセットにおいて6つの既存RPCA手法と定量的に比較して、どのように優れているか？
• RQ5 補助情報 W をデータから直接差し引くのではなく、提案手法のように統合する方法を採用する理由は何か？また、後者の手法が劣っているのはなぜか？

主な発見

• 提案手法であるPCPSは、空港（Airport）やPETSの背景抽出に用いられる5つの実世界データセットにおいて、6つのベースライン手法を顕著に上回り、より良好な前景セグメンテーションとクリアな背景回復を実現した。
• Airportデータセットでは、60フレームの処理に20秒の実行時間を要したが、PCP（52秒）とFRPCAG（11秒）を上回りながらも、優れた精度を維持した。
• 顔画像のノイズ除去タスクでは、ノイズを含む入力から低ランク成分を効果的に回復し、識別子や表情の特徴を競合手法よりもよく保持した。
• 顔認識および表情認識タスクでは、補助情報を用いることで分類精度が向上し、特にトレーニングデータが限られた状況で顕著であった。
• 補助情報を用いることで、RPCAの推論的制約を軽減し、より少ないサンプルで効果的な学習が可能になった。計算コストは削減されたが、性能は損なわれなかった。
• アブレーションスタディにより、補助情報 W を直接データから差し引く方法は、有用な特徴を損なうだけでなく、誤ったノイズを導入し、低ランク仮定を破壊することで結果を劣化させることを確認した。