[論文レビュー] Two-Manifold Problems with Applications to Nonlinear System Identification

Byron Boots, Geoffrey J. Gordon|arXiv (Cornell University)|Jun 18, 2012

Control Systems and Identification参考文献 31被引用数 22

ひとこと要約

本論文は、再現性のあるヒルバート空間（RKHS）における相互共分散作用素を用いて、2つのノイズが混入した関連する多様体を同時に再構築する2多様体学習フレームワークを提案する。インストルメンタル変数を活用することでノイズを低減し、バイアスを低減する。非線形システム同定において、低次元かつ解釈可能な状態空間多様体を学習することで、実世界のスロットカーデータセットにおいて予測精度を著しく向上させ、100ステップ先予測誤差を最大30%まで低減した。

ABSTRACT

Recently, there has been much interest in spectral approaches to learning manifolds---so-called kernel eigenmap methods. These methods have had some successes, but their applicability is limited because they are not robust to noise. To address this limitation, we look at two-manifold problems, in which we simultaneously reconstruct two related manifolds, each representing a different view of the same data. By solving these interconnected learning problems together, two-manifold algorithms are able to succeed where a non-integrated approach would fail: each view allows us to suppress noise in the other, reducing bias. We propose a class of algorithms for two-manifold problems, based on spectral decomposition of cross-covariance operators in Hilbert space, and discuss when two-manifold problems are useful. Finally, we demonstrate that solving a two-manifold problem can aid in learning a nonlinear dynamical system from limited data.

研究の動機と目的

• 標準的な多様体学習手法の根本的限界である、高次元観測値におけるノイズへの感受性を是正すること。
• データがノイズで汚されている状況、特に限られたまたはノイズの多い訓練データがある状況において、ノイズに強い多様体学習フレームワークを開発すること。
• インストルメンタル変数技術を多様体学習に統合し、真の潜在的多様体構造の一貫した推定を可能にすること。
• 解釈可能な低次元状態空間を有する非線形力学系の同定において、2多様体学習の有効性を示すこと。

提案手法

• 2つのビューが同一の潜在多様体のノイズ混入観測としてモデル化される、2多様体問題を共同学習タスクとして定式化する。
• 再現性のあるヒルバート空間（RKHS）における相互共分散作用素を用いて、2つのビューを関連付け、潜在的な多様体構造を共同で推定する。
• インストルメンタル変数の原則を適用：各多様体が相手のインストルメンタルとして機能し、ノイズと真の信号を相関させないことで一貫した推定を可能にする。
• 相互共分散作用素の固有値分解を用いて、真の多様体幾何を保持する低次元埋め込みを抽出する。
• 核ベースのスペクトル法を用いて、力学系の状態空間を学習した多様体上に埋め込むことで、非線形システム同定への拡張を実現する。
• 慣性測定と視覚追跡を併用したスロットカー実験プラットフォームを用いて、多様体HMMを標準HMM、カルマンフィルタ、RBFベースのモデルと比較して手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが混入した2つの関連する多様体を共同で学習することで、単一ビュー多様体学習と比較してノイズ耐性が向上するか？
• RQ2 ノイズの存在下でバイアスを低減するために、インストルメンタル変数を核ベース多様体学習に効果的に統合する方法は何か？
• RQ3 2多様体学習は、非線形力学系の同定における予測精度と解釈可能性を向上させることができるか？
• RQ4 提案手法は、既存の最先端手法と比較して、複雑な非線形時系列の予測においてどの程度優れているか？

主な発見

• 2多様体手法は、ノイズによって引き起こされる埋め込みバイアスを著しく低減し、ノイズ混入スイスロールデータに対して標準的な多様体学習手法を上回った。
• スロットカーデータセットにおいて、100ステップ先予測誤差の平均二乗誤差（RMS）を、次善のベースラインと比較して最大30%低減した。
• ラプラシアン固有写像カーネルを用いた2多様体HMMから得られた学習済み状態空間が、真の2次元カーブの軌道を最もよく再構築しており、カルマンフィルタやRBFベースのHMMを上回った。
• 提案されたアルゴリズムは、非線形力学系に対して低次元かつ解釈可能な状態空間多様体を効果的に特定し、長時間予測を高精度で実現できた。
• 相互共分散スペクトル分解の活用により、データがノイズで汚されていても真の多様体を一貫して推定できることが示された。
• 特にデータ量が少ない状況下でも、非線形システム同定における予測精度で最先端の性能を示した。