[論文レビュー] On the Stable Euclidean Distance Degree of Algebraic Layers

Giacomo Graziani|arXiv (Cornell University)|Jan 22, 2026

Polynomial and algebraic computation被引用数 0

ひとこと要約

要約: 本論文は、固定幅と活性度を持つ代数的ニューラル層の一般化ユークリッド距離次数（gED）が入力・出力次元の安定多項式であり、gEDがモノミアルのサポートではなく活性度のみに依存することを証明する。

ABSTRACT

We study the projective geometry of algebraic neural layers, namely families of maps induced by a polynomial activation function, with particular emphasis on the generic Euclidean Distance degree ($\mathrm{gED}$). This invariant is projective in nature and measures the number of optimal approximations of a general point in the ambient space with respect to a general metric. For a fixed architecture (i.e. fixed width and activation polynomial), we prove that the $\mathrm{gED}$ is stably polynomial in the dimensions of the input and output spaces. Moreover, we show that this stable polynomial depends only on the degree of the activation function. Our approach relies on standard intersection theory on the Nash blow-up, which allows us to express the $\gED$ as an intersection number over products of Grassmannians. Stable polynomiality is deduced via equivariant localization, while the reduction to the monomial case follows from an explicit Schubert calculus computation on Grassmannians.

研究の動機と目的

• 代数的ニューラル層をED-次数を射影不変量として動機づけ formalize する。
• 固定アーキテクチャに対して、入力/出力次元でgEDが多項式的に（安定的に）振る舞うことを示す。
• gEDが特定のモノミアルサポートではなく活性度のみに依存することを示す。
• gEDを交差数として計算する幾何的枠組み（Nash吹き上げ、Grassmannians）を提供。
• 漸近的計算量を変えずに計算をモノミアル活性化へ還元する。
• ED-次数を極座標度数やChern-Matherクラスと結びつけ、明示公式を可能にする。

提案手法

• Nash吹き上げを用いてGrassmanniansの直積上の交差数としてgEDを表現。
• 等変局在化を適用して安定多項式性を得る（定理4.5）。
• Grassmannians上のSchubert計算を用いてモノミアル活性化ケースへ還元する（定理5.4）。
• すべての交差的公式を用いてED-次数を極座標度数とChern-Matherクラスに関連付ける（節2.4）。
• 代数的ニューラル層とそのk-セカント多様体の幾何的実現を記述する（定義2.4、補題3.1）。

実験結果

リサーチクエスチョン

• RQ1 固定幅の代数的ニューラル層における一般的なED-次数gEDは、入力・出力次元が成長するにつれてどう変化するか？
• RQ2 固定幅と活性度でのとき、gEDは次元に対して安定多項式的な挙動を示すか？
• RQ3 gEDは活性化多項式の全モノミアルサポートに依存するのか、それとも次数のみに依存するのか？
• RQ4 gEDの計算をモノミアル活性化へ還元しても、一般的な不変量gEDには影響がないか？
• RQ5 どの幾何的手法（Nash吹き上げ、Grassmannians、Schubert計算）がgEDの明示公式を導くのか？

主な発見

• 固定幅と活性度に対して、入力・出力次元に対してgEDは安定多項式である（定理4.5）。
• gEDの安定多項式は活性度のみに依存し、モノミアルサポートには依存しない（定理5.4）。
• 同じ次数のモノミアル活性化への還元は、一般的不変量gEDを変えない。
• gEDはNash吹き上げの枠組みを介してGrassmanniansの直積上の交差数として表現できる。
• ED-次数は一般的なgEDにより atas的に上限をもち、極座標度数およびChern-Matherクラスと関連する（命題2.14、定理2.18）。