[論文レビュー] Approximate Vanishing Ideal via Data Knotting

Hiroshi Kera, Yoshihiko Hasegawa|arXiv (Cornell University)|Jan 29, 2018

Commutative Algebra and Its Applications被引用数 6

ひとこと要約

本稿では、ノイズが混入した入力データ上で多項式が近似的に消える一方で、代表的なデータ点（データノード）上で正確に消えるように、低次の多項式とデータノードを同時に発見する、新たな近似消去イデアル構築手法を提案する。非線形正則化と反復的ノード化を導入することで、従来手法に比べてよりコンパクトで代数的に整合性のある表現を達成し、多項式の次数と数を低減しながら分類精度を維持するとともに、推論を高速化する。

ABSTRACT

The vanishing ideal is a set of polynomials that takes zero value on the given data points. Originally proposed in computer algebra, the vanishing ideal has been recently exploited for extracting the nonlinear structures of data in many applications. To avoid overfitting to noisy data, the polynomials are often designed to approximately rather than exactly equal zero on the designated data. Although such approximations empirically demonstrate high performance, the sound algebraic structure of the vanishing ideal is lost. The present paper proposes a vanishing ideal that is tolerant to noisy data and also pursued to have a better algebraic structure. As a new problem, we simultaneously find a set of polynomials and data points for which the polynomials approximately vanish on the input data points, and almost exactly vanish on the discovered data points. In experimental classification tests, our method discovered much fewer and lower-degree polynomials than an existing state-of-the-art method. Consequently, our method accelerated the runtime of the classification tasks without degrading the classification accuracy.

研究の動機と目的

• ノイズが混入したデータにおける消去イデアル構築において、ノイズ耐性と代数的構造の保持のトレードオフを解消すること。
• 近似消去イデアルにおいて多項式が共通の根を持たなくなる代数的整合性の喪失を是正すること。
• ノイズが混入した入力データから、消去多項式と代表的データノードを同時に発見する共同最適化フレームワークの構築。
• 低次の多項式を優遇し、ノイズへの過剰適合を低減することで、よりコンactかつ数値的に安定した表現を実現すること。
• 消去イデアルから導出される特徴量の数を最小限に抑えることで、計算効率と分類速度の向上を図ること。

提案手法

• 多項式が元のデータ上で近似的に消え、データノード上で正確に消えるように、消去多項式とデータノードを同時に最適化する新たな問題定式化を提案する。
• マハラノビス距離にインspiredされた非線形正則化項を用いてデータノードを更新し、コンパクトで代表的な点集合を促進する。
• 低次の多項式から段階的に構築を開始し、各次数でデータノードを更新することで、高次項における過剰適合を防ぐ。
• 3つのハイパーパrameter（ε：元のデータ上の誤差許容値、δ：ノード上での正確な消去許容値、λ：正則化強度）を含む最適化問題を定式化する。
• δ = 0 の場合にアルゴリズムの終了と正確な消去を保証する理論的収束性を示す。
• 消去イデアルを特徴量抽出器として用い、その後に線形分類器を適用する分類パイプラインに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが混入したデータに対しても代数的構造を保持しつつ、耐ノイズ性を備えた消去イデアルを構築できるか？
• RQ2 消去多項式と併せてデータノードを共同で発見することで、モデルのコンパクト性と安定性をどのように向上できるか？
• RQ3 最先端手法（VCAなど）と比較して、提案手法は多項式の次数と数をどの程度低減できるか？
• RQ4 得られたデータノードは、下流の分類性能の観点から、元のデータをどの程度適切に代表しているか？
• RQ5 ハイパーパrameter ε、δ、λ が、得られる消去イデアルの品質と効率に及ぼす影響はいかほどか？

主な発見

• 提案手法は、最先端のVCA手法と比較して、多項式の次数と総数を著しく低減した。特徴次元は最大98％削減され、例としてVCAの2％の次元にまで低減した（例：2% of VCA’s dimensionality）。
• データノードを用いた分類精度は、k-means重心と元のデータと同等の水準を示し、IrisとWineでは0.95の精度を達成した。VehicleとVowelでは0.60～0.76の範囲であった。
• ノード化比（データノード数／元の点数比）は、Vehicleで最低5％、Vowelで53％にまで低下し、顕著なデータ圧縮が実現された。
• 消去イデアルから導出される特徴量の数を著しく削減したため、分類実行時間の高速化が達成されたが、精度は劣化しなかった。
• k-NN分類器をデータノード上で学習させた場合、元の点群上で学習させた場合と同等の性能を示し、データノードが元のデータを適切に代表していることが示された。
• 理論的分析により、アルゴリズムの終了とδ = 0における正確な消去が保証されたが、数値的不安定性のため、実用的用途ではこの極端なケースは制限される。