[論文レビュー] Regression for sets of polynomial equations

Franz J. Király, Paul von Bünau+4 more|arXiv (Cornell University)|Oct 20, 2011

Model Reduction and Neural Networks参考文献 26被引用数 9

ひとこと要約

この論文では、入力方程式の解集合と最も一致するパラメトリック多項式族によって任意の多項式方程式系を近似する、新しい手法である理想回帰を導入する。近似計算代数幾何の技術を用いて、数値最適化を経由せずに直接解を計算するアプローチであり、ノイズ下での同定可能性と収束に関する理論的保証を伴う。この手法は、定常部分空間分析（Stationary Subspace Analysis）のような問題において一貫性のある推定を可能にする。

ABSTRACT

We propose a method called ideal regression for approximating an arbitrary system of polynomial equations by a system of a particular type. Using techniques from approximate computational algebraic geometry, we show how we can solve ideal regression directly without resorting to numerical optimization. Ideal regression is useful whenever the solution to a learning problem can be described by a system of polynomial equations. As an example, we demonstrate how to formulate Stationary Subspace Analysis (SSA), a source separation problem, in terms of ideal regression, which also yields a consistent estimator for SSA. We then compare this estimator in simulations with previous optimization-based approaches for SSA.

研究の動機と目的

• 入力の多項式方程式系をパラメトリック多項式族によって直接、最適化に依存しない方法で近似するための手法を開発すること。
• ソース分離タスクのような、解が多項式方程式によって定義される学習問題において、パrameter推定の一貫性を実現すること。
• 特に理想の飽和と同次表現を用いた代数幾何のツールを活用し、ノイズ下でも強固で理論的根拠を持つ近似を実現すること。
• 定常部分空間分析（SSA）という、代数的構造を持つパラメトリック推定問題への応用を通じて、本手法の有効性と一貫性を示すこと。
• ノイズが減少するか標本サイズが増加する際に、理想回帰推定量が真の解に収束する理論的条件を確立すること。

提案手法

• 理想回帰は、入力多項式の解多様体を、パrameter $ \theta $ でパrameter化される多項式 $ p^{(1)}_{\theta}, \ldots, p^{(m)}_{\theta} $ によって生成されるパラメトリック理想 $ \mathcal{F}_{\theta} $ で近似する問題として定式化する。
• パラメトリック理想 $ \mathcal{F}_{\theta} $ を計算するために、理想の近似同次飽和を用い、入力多項式 $ q_1, \ldots, q_n $ を近似的に含むように保証する。
• アルゴリズム5は、飽和が安定する次数 $ N $ を特定し、ノイズを含む係数行列に対して特異値しきい値処理を用いて、近似同次飽和を計算する。
• アルゴリズム6は、近似左零空間の計算と列フィルタリングにより、飽和基底の次数を低減し、$ (\mathcal{I}:X_D)_{k-1} $ を $ (\mathcal{I}:X_D)_k $ から反復的に計算可能にする。
• 正しさと安定性を保証するために、特に根理想が線形であるか、そのヒルベルト関数が既知である場合に有効なコロナリーC.7および定理B.38に依存する。
• 数値最適化を回避するため、ノイズを含む多項式係数から直接代数的対象（理想、飽和）を計算し、主成分分析を用いて低ランク近似を実現する。

実験結果

リサーチクエスチョン

• RQ1 数値最適化に依存せずに、多項式方程式系をパラメトリック多項式族によって一貫して近似できるか？
• RQ2 入力多項式がノイズで汚染されている場合、理想回帰推定量が同定可能で一貫性を示す条件は何か？
• RQ3 ノイズの存在下でも、近似計算代数幾何の技術を用いて理想の飽和を安定して計算する方法は何か？
• RQ4 定常部分空間分析のような問題の代数的構造を、理想回帰によって自然に捉え、解けるか？
• RQ5 ノイズが減少するか標本サイズが増加する際、理想回帰推定量の収束についてどのような理論的保証を提供できるか？

主な発見

• 理想回帰フレームワークは、定常部分空間分析（SSA）に対して一貫性のある推定量を提供し、定理C.5の条件下で理論的同定可能性を示した。
• ノイズを含む多項式係数から導かれる理想の同次飽和を直接計算することで、ノイズが減少するに従い真の解に収束する一貫性のある推定を達成した。
• アルゴリズム5およびアルゴリズム6は、特異値分解による低ランク近似を用いて、理想の飽和の安定的かつ効率的な近似計算を可能にした。
• シミュレーションにおいて、従来の最適化ベース手法に比べ、ノイズ下でも精度とロバストネスが向上した。
• 一般性の条件下で、アルゴリズムが正しく終了し、真の根理想 $ \sqrt{\mathcal{I}} $ を正しく生成することが理論的に確認された。
• 根理想が線形であるか、そのヒルベルト関数が既知である場合、解空間の次元を正しく計算でき、正確な近似と誤差制御が可能になった。