[논문 리뷰] On the Stable Euclidean Distance Degree of Algebraic Layers

Giacomo Graziani|arXiv (Cornell University)|2026. 01. 22.

Polynomial and algebraic computation인용 수 0

한 줄 요약

본 논문은 고정 폭과 활성화 차수로 설정된 대수적 신경망 계층의 일반 유클리드 거리 차수(gED)가 입력/출력 차원에 대해 안정적인 다항식임을 증명하고, gED가 모나몰(활성화 다항식의) 지지에 의존하지 않고 활성화 차수에만 의존함을 보인다.

ABSTRACT

We study the projective geometry of algebraic neural layers, namely families of maps induced by a polynomial activation function, with particular emphasis on the generic Euclidean Distance degree ($\mathrm{gED}$). This invariant is projective in nature and measures the number of optimal approximations of a general point in the ambient space with respect to a general metric. For a fixed architecture (i.e. fixed width and activation polynomial), we prove that the $\mathrm{gED}$ is stably polynomial in the dimensions of the input and output spaces. Moreover, we show that this stable polynomial depends only on the degree of the activation function. Our approach relies on standard intersection theory on the Nash blow-up, which allows us to express the $\gED$ as an intersection number over products of Grassmannians. Stable polynomiality is deduced via equivariant localization, while the reduction to the monomial case follows from an explicit Schubert calculus computation on Grassmannians.

연구 동기 및 목표

• 대수적 신경망 계층을 ED-차수의 사영 불변량으로서 연구를 동기화하고 형식화한다.
• 고정된 아키텍처에서 입력/출력 차원에 대해 gED가 다항적으로(안정적으로) 작동함을 보인다.
• gED가 특정 모나몰 지지와 무관하게 활성화 차수에 의해서만 의존함을 시연한다.
• gED를 계산하기 위한 기하학적 프레임워크(Nash 블로우업, Grassmannian)를 제시하여 교차 수로로 표현한다.
• 계산을 모나몰 활성화로 축소하되 점근적 복잡도에 영향을 주지 않는다.
• ED-차수를 극좌표 및 Chern-Mather 클래스와 연결하여 명시적 공식을 가능하게 한다.

제안 방법

• Nash 블로우업을 이용해 Grassmannian의 곱 위의 교차 수로 gED를 표현한다.
• 등가적 국지화를 적용하여 안정적인 다항성(정리 4.5)을 얻는다.
• Grassmannian에서의 Schubert 계산을 사용해 모나몰 활성화 케이스로 축소한다(정리 5.4).
• ED-차수를 극좌표 및 Chern-Mather 클래스와 명시적 교차 이론식으로 연결한다(섹션 2.4).
• 대수적 신경망 계층의 기하학적 구현과 k-시컨트 변종의 기하학적 표현을 기술한다(정의 2.4, 보정 3.1).

실험 결과

연구 질문

• RQ1 고정 폭 대수적 신경망 계층의 gED가 입력/출력 차원이 커질 때 어떻게 변하는가?
• RQ2 고정 폭과 활성화 차수에서 차원에 대해 gED가 안정적인 다항식 거동을 보이는가?
• RQ3 gED가 활성화 다항식의 전체 모나몰 지지에 의존하는가, 아니면 차수에만 의존하는가?
• RQ4 계산을 모나몰 활성화로 축소해도 점근적 결과는 바뀌지 않는가?
• RQ5 어떤 기하학적 도구(Nash 블로우업, Grassmannian, Schubert 계산)가 gED에 대한 명시적 공식을 산출하는가?

주요 결과

• gED는 고정 폭과 활성화 차수에 대해 입력 및 출력 차원에 대해 안정적으로 다항식이며(정리 4.5).
• gED의 안정적 다항식은 활성화 차수에만 의존하고 모나몰 지지에 의존하지 않는다(정리 5.4).
• 동일한 차수의 모나몰 활성화로 축소해도 일반적인 불변 gED에는 영향이 없다.
• Nash 블로우업 프레임워크를 통해 Grassmannian의 곱 위의 교차 수로로 gED를 표현할 수 있다.
• ED-차수는 일반적인 ED-차수의 상한과 폴라 차수 및 Chern-Mather 클래스와의 관계를 가지며(정리 2.14, 정리 2.18), 이를 통해 친화적 형식을 얻을 수 있다.