[論文レビュー] Non-linear Dimensionality Regularizer for Solving Inverse Problems

Ravi Garg, Anders Eriksson+1 more|arXiv (Cornell University)|Mar 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 9

ひとこと要約

本稿では、カーネルPCAの暗黙的特徴空間における低ランク構造を強制する、非線形次元削減正則化項を新たに提案する。この正則化項により、事前学習を必要とせず、ノイズや遮蔽が存在する状況下でも、逆問題の解法が安定的に行える。形状ベクトルをカーネル埋め込みした空間における核ノルムを最小化することで、非剛性構造からのモーション（NRSfM）および欠損データ回復の分野で最先端の性能を達成する。

ABSTRACT

Consider an ill-posed inverse problem of estimating causal factors from observations, one of which is known to lie near some (un- known) low-dimensional, non-linear manifold expressed by a predefined Mercer-kernel. Solving this problem requires simultaneous estimation of these factors and learning the low-dimensional representation for them. In this work, we introduce a novel non-linear dimensionality regulariza- tion technique for solving such problems without pre-training. We re-formulate Kernel-PCA as an energy minimization problem in which low dimensionality constraints are introduced as regularization terms in the energy. To the best of our knowledge, ours is the first at- tempt to create a dimensionality regularizer in the KPCA framework. Our approach relies on robustly penalizing the rank of the recovered fac- tors directly in the implicit feature space to create their low-dimensional approximations in closed form. Our approach performs robust KPCA in the presence of missing data and noise. We demonstrate state-of-the-art results on predicting missing entries in the standard oil flow dataset. Additionally, we evaluate our method on the challenging problem of Non-Rigid Structure from Motion and our approach delivers promising results on CMU mocap dataset despite the presence of significant occlusions and noise.

研究の動機と目的

• 未知の非線形かつ低次元の多様体に近い解が存在する、不適切に定義された逆問題を解く課題に対処すること。
• 事前学習を必要とし、欠損データやノイズに対して脆弱な、従来の非線形次元削減手法の限界を克服すること。
• カーネル誘導された特徴空間におけるデータのランクを直接ペナルティ化することで、低次元構造を強制する正則化フレームワークを構築すること。
• 事前像の計算や事前多様体学習を必要とせず、エネルギー最小化の定式化に直接統合可能な仕組みを提供すること。
• 非剛性構造からのモーションや欠損データ補完といった、現実世界の問題への適用を実証すること。

提案手法

• カーネルPCAを、暗黙的特徴空間における低ランク構造を強制する核ノルム正則化項を含むエネルギー最小化問題に再定式化する。
• カーネルトリックを用いて、データを再生核ヒルバート空間（RKHS）に暗黙的に写像し、変換された形状ベクトルの核ノルムを用いて低ランク制約を適用する。
• 特徴空間における因子分解表現の核ノルムを最小化することで、カーネル埋め込みされたデータ行列のランクを直接ペナルティ化する。
• 非剛性構造からのモーション（NRSfM）などの逆問題に適した変分的エネルギー最小化フレームワークに、この正則化項を統合する。
• ペナルティ法を用いて最適化問題を解き、形状パラメータと回転パラメータの間で交互に最小化を行う。
• 事前像推定に依存しないように、特徴空間に直接低次元性制約を埋め込むことで、ノイズおよび欠損データに対する耐性を確保する。

実験結果

リサーチクエスチョン

• RQ1 事前学習や事前像計算を必要とせず、カーネルPCAフレームワーク内に非線形次元削減正則化項を構築することは可能か？
• RQ2 カーネルPCA定式化における暗黙的特徴空間に、どのようにして低ランク構造を強制することで、ノイズおよび欠損データに対する耐性を向上させられるか？
• RQ3 このような正則化項は、遮蔽やノイズのある観測が存在する非剛性構造からのモーションのような困難な逆問題において、線形次元削減制約を上回る性能を示せるか？
• RQ4 生成モデルや学習データに依存せず、エネルギー最小化フレームワークに統合可能な、提案手法のスケーラビリティと有効性はどの程度か？
• RQ5 不適切に定義された逆問題におけるランク最小化の既存の凸緩和法と比較して、カーネル特徴空間における核ノルム正則化はどのように差をつけるか？

主な発見

• 提案された非線形次元削減正則化項は、欠損エントリを含む行列補完タスクにおいて、オイルフロー・データセットで最先端の性能を達成した。
• CMUモーショングラフデータセットにおいて、本手法は非剛性構造からのモーションタスクで、線形手法を著しく上回った。特に、大きなノイズや遮蔽が存在する状況下でも同様の優位性を示した。
• カーネル埋め込み特徴空間に直接低ランク構造を強制することで、欠損データおよびノイズに対する耐性を示した。
• 核ノルム正則化付きエネルギー最小化フレームワークは、KKT条件を満たす解に収束し、最適性に関する理論的保証が得られた。
• 従来のカーネルPCAパイプラインとは異なり、事前像計算を必要とせず、逆問題ソルバーに直接統合可能である。
• 本手法は一般化可能であり、3次元再構成、ノイズ除去、形状事前分布を用いたオブジェクトセグメンテーションを含む、広範な教師なし推論問題に適用可能である。