[논문 리뷰] Approximate Vanishing Ideal via Data Knotting

Hiroshi Kera, Yoshihiko Hasegawa|arXiv (Cornell University)|2018. 01. 29.

Commutative Algebra and Its Applications인용 수 6

한 줄 요약

이 논문은 노이즈가 있는 입력 데이터에서 다항식이 근사적으로 영이 되고 데이터 띠드(데이터 노드)에서 정확히 영이 되도록 하는, 근사적인 영 이상을 구성하기 위한 새로운 방법을 제안한다. 비선형 정규화와 반복적 띠드화를 도입함으로써 기존 방법보다 더 컴act하고 대수학적으로 타당한 표현을 달성하여 다항식의 차수와 수를 줄이고 분류 정확도를 유지하면서 추론 속도를 향상시킨다.

ABSTRACT

The vanishing ideal is a set of polynomials that takes zero value on the given data points. Originally proposed in computer algebra, the vanishing ideal has been recently exploited for extracting the nonlinear structures of data in many applications. To avoid overfitting to noisy data, the polynomials are often designed to approximately rather than exactly equal zero on the designated data. Although such approximations empirically demonstrate high performance, the sound algebraic structure of the vanishing ideal is lost. The present paper proposes a vanishing ideal that is tolerant to noisy data and also pursued to have a better algebraic structure. As a new problem, we simultaneously find a set of polynomials and data points for which the polynomials approximately vanish on the input data points, and almost exactly vanish on the discovered data points. In experimental classification tests, our method discovered much fewer and lower-degree polynomials than an existing state-of-the-art method. Consequently, our method accelerated the runtime of the classification tasks without degrading the classification accuracy.

연구 동기 및 목표

• 노이즈가 있는 데이터에 대한 영 이상 구축에서 노이즈에 대한 내성과 대수학적 구조 유지 간의 상충 관계를 해결한다.
• 근사적인 영 이상에서 다항식이 더 이상 공통의 근을 가지지 않아 대수학적 타당성이 손상되는 문제를 해결한다.
• 노이즈가 있는 입력 데이터로부터 영 다항식과 대표적인 데이터 띠드를 함께 발견하는 공동 최적화 프레임워크를 개발한다.
• 낮은 차수의 다항식을 선호하고 노이즈에 대한 과적합을 줄임으로써 더 컴act하고 수치적으로 안정적인 표현을 가능하게 한다.
• 영 이상에서 파생된 기능 수를 최소화함으로써 계산 효율성과 분류 속도를 향상시킨다.

제안 방법

• 다항식이 원본 데이터에서 근사적으로 영이 되고 데이터 띠드에서 정확히 영이 되도록 하는, 영 다항식과 데이터 띠드를 공동으로 최적화하는 새로운 문제 정식을 제안한다.
• 마할라노비스 거리에서 영감을 얻은 비선형 정규화 항을 사용하여 데이터 띠드를 갱신함으로써, 더 컴act하고 대표적인 점 집합을 촉진한다.
• 낮은 차수부터 다항식을 반복적으로 구축하며, 각 차수에서 데이터 띠드를 갱신하여 고차수 항에서의 과적합을 방지한다.
• 세 개의 하이퍼파ram터를 포함한 최적화 문제를 제안한다: ε (원본 데이터에서의 오차 허용 범위), δ (띠드에서 정확한 영이 되는 허용 오차), λ (정규화 강도).
• 알고리즘의 수렴성을 이론적으로 보장하기 위해, 알고리즘이 종료되고 δ = 0일 때 정확한 영이 되는 것을 증명한다.
• 영 이상을 기능 추출기로 사용하는 분류 파ip라인에 적용하며, 그 다음 선형 분류기를 사용한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 데이터에 대해 대수학적 구조를 유지하면서도 강인한 영 이상을 구성할 수 있는가?
• RQ2 영 다항식과 함께 데이터 띠드를 공동으로 발견함으로써 모델의 컴팩트성과 안정성을 어떻게 향상시킬 수 있는가?
• RQ3 최신 기술인 VCA와 비교했을 때, 제안된 방법이 다항식의 차수와 수를 얼마나 줄이는가?
• RQ4 하위 분류 성능 측면에서 발견된 데이터 띠드가 원본 데이터를 얼마나 잘 대표하는가?
• RQ5 하이퍼파ram터 ε, δ, λ가 결과 영 이상의 품질과 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 최신 기술인 VCA 대비 다항식의 차수와 총 개수를 크게 줄여, 기능 차원을 최대 98%까지 감소시켰다 (예: VCA의 2% 수준).
• 데이터 띠드를 사용한 분류 정확도는 k-means 중심점과 원본 데이터와 유사했으며, Iris와 Wine에서는 0.95의 정확도를 기록했고, Vehicle와 Vowel에서는 0.60~0.76의 범위를 보였다.
• 띠드 비율(원본 점 대비 띠드 수의 비율)은 Vehicle의 경우 최소 5%이며, Vowel의 경우 53%에 이르렀다. 이는 상당한 데이터 압축을 의미한다.
• 영 이상에서 파생된 기능 수를 크게 줄임으로써 분류 런타임을 급격히 향상시켰으며, 정확도에 영향을 주지 않았다.
• k-NN 분류기를 띠드 기반으로 훈련한 결과 원본 점 기반 훈련과 유사한 성능을 보여, 데이터 띠드가 원본 데이터를 잘 대표하고 있음을 입증했다.
• 이론적 분석을 통해 알고리즘의 종료와 δ = 0일 때 정확한 영이 되는 것을 보장했지만, 수치적 불안정성으로 인해 이 극단적 경우는 실용적으로 제한된다.