[논문 리뷰] Regression for sets of polynomial equations

Franz J. Király, Paul von Bünau외 4명|arXiv (Cornell University)|2011. 10. 20.

Model Reduction and Neural Networks참고 문헌 26인용 수 9

한 줄 요약

이 논문은 임의의 다항방정식 시스템을 입력 방정식의 해집합과 가장 잘 일치하는 다항식의 매개변수 가중치 가족으로 근사하기 위한 새로운 방법인 이상 회귀(ideal regression)를 소개한다. 근사적 계산대수기하학 기법을 활용하여, 수치 최적화를 거치지 않고도 직접 해를 계산함으로써, 소음 하에서 식별 가능성과 수렴성에 대한 이론적 보장을 갖는 정류된 추정이 가능한 문제, 예를 들어 정적 하위공간 분석(Stationary Subspace Analysis)에 적용된다.

ABSTRACT

We propose a method called ideal regression for approximating an arbitrary system of polynomial equations by a system of a particular type. Using techniques from approximate computational algebraic geometry, we show how we can solve ideal regression directly without resorting to numerical optimization. Ideal regression is useful whenever the solution to a learning problem can be described by a system of polynomial equations. As an example, we demonstrate how to formulate Stationary Subspace Analysis (SSA), a source separation problem, in terms of ideal regression, which also yields a consistent estimator for SSA. We then compare this estimator in simulations with previous optimization-based approaches for SSA.

연구 동기 및 목표

• 입력 다항식의 해를 다항식의 매개변수 가중치 가족으로 직접, 최적화 기반 방법 없이 근사화하는 방법을 개발하기 위해.
• 해가 다항방정식으로 정의되는 학습 문제, 예를 들어 소스 분리 작업과 같은 문제에서 일관된 매개변수 추정을 가능하게 하기 위해.
• 특히 이상 포화와 동차 표현을 포함한 대수기하학 도구를 활용하여, 소음 하에서도 강건하고 이론적으로 탄탄한 근사화를 가능하게 하기 위해.
• 정적 하위공간 분석(SSA)과 같은 다항식의 구조를 지닌 매개변수 추정 문제에 대해 본 방법의 효과성과 일관성을 실험적으로 보여주기 위해.
• 소음 감소 또는 표본 크기 증가에 따라 이상 회귀 추정자가 진짜 해로 수렴하고 식별 가능해지는 이론적 조건을 확립하기 위해.

제안 방법

• 이상 회귀는 입력 다항식의 해의 다양체를 다항식 $ p^{(1)}_{\theta}, \ldots, p^{(m)}_{\theta} $로 생성되는 매개변수화된 이상으로 근사하는 문제로 설정한다. 여기서 $ \theta $는 이상을 매개변수화한다.
• 이 방법은 이상의 근사적 동차 포화를 사용하여 매개변수화된 이상 $ \mathcal{F}_{\theta} $를 계산함으로써, 입력 다항식 $ q_1, \ldots, q_n $이 대략적으로 포함되도록 보장한다.
• 알고리즘 5는 포화가 안정화되는 차수 $ N $을 결정하고, 소수값 임계치를 적용하여 노이즈가 있는 계수 행렬을 다루기 위해 특이값 분해를 활용하여 근사적 동차 포화를 계산한다.
• 알고리즘 6은 근사적 왼쪽 영공간 계산과 열 필터링을 통해 포화 기저의 차수를 감소시켜, $ (\mathcal{I}:X_D)_{k-1} $를 $ (\mathcal{I}:X_D)_k $에서 반복적으로 계산할 수 있도록 한다.
• 정규성 조건 하에서, 특히 근본 이상이 선형이거나 그 힐베르트 함수가 알려져 있을 경우, 정확성과 안정성을 보장하기 위해 보조정리 C.7과 정리 B.38에 기반한다.
• 이 방법은 수치 최적화를 피하기 위해 노이즈가 있는 다항식 계수로부터 직접 대수적 객체(이상, 포화 등)를 계산하며, 주성분 분석을 통해 낮은 랭크 근사화를 수행한다.

실험 결과

연구 질문

• RQ1 수치 최적화에 의존하지 않고 다항방정식 시스템을 매개변수 가중치 다항식 가족으로 일관되게 근사화할 수 있는가?
• RQ2 입력 다항식이 노이즈에 오염되었을 때 이상 회귀 추정자가 식별 가능하고 일관성이 있는 조건은 무엇인가?
• RQ3 근사적 계산대수기하학 기법을 어떻게 활용하여 노이즈 존재 하에서 이상 포화를 강건하게 계산할 수 있는가?
• RQ4 정적 하위공간 분석과 같은 문제의 대수적 구조가 이상 회귀를 통해 자연스럽게 포착되고 해결될 수 있는가?
• RQ5 소음 감소 또는 표본 크기 증가에 따라 이상 회귀 추정자의 수렴성에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 이상 회귀 프레임워크는 정적 하위공간 분석(SSA)에 대해 일관된 추정자를 제공하며, 정리 C.5의 조건 하에서 이론적 식별 가능성을 입증한다.
• 노이즈가 있는 다항식 계수로부터 유도된 이상의 동차 포화를 계산함으로써 일관된 추정이 가능하며, 노이즈가 감소함에 따라 진짜 해로 수렴한다.
• 알고리즘 5와 알고리즘 6은 특이값 분해를 통한 낮은 랭크 근사화를 활용하여 이상 포화의 안정적이고 효율적인 근사 계산을 가능하게 한다.
• 모의 실험에서 이전의 최적화 기반 방법보다 본 방법이 더 높은 정확도와 노이즈에 대한 강건성을 보였다.
• 일반성 조건 하에서 알고리즘이 정확히 종료되고, 입력 다항식이 노이즈가 있더라도 올바른 근본 이상 $ \sqrt{\mathcal{I}} $를 생성함을 이론적으로 확인하였다.
• 근본 이상이 선형이거나 그 힐베르트 함수가 알려져 있을 경우, 본 방법은 해공간의 차원을 정확히 계산할 수 있어 정밀한 근사화와 오차 통제가 가능하다.