[논문 리뷰] VC bounds on the cardinality of nearly orthogonal function classes

Lee-Ad Gottlieb, Leonid외 2명|arXiv (Cornell University)|2010. 07. 28.

Machine Learning and Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 이산적 기반의 투영 논증과 이항계수의 엔트로피 기반 분석을 사용하여 \\{−1,1\\}^n 내에서 거의 직교하는 벡터의 최대 개수에 대한 VC-차원 기반의 개선된 경계를 제시한다. 주요 기여는 near-orthogonality(γ ≈ 0)를 가지는 함수 클래스에 대한 패킹 수의 더 날카운 경계를 제공함으로써 Haussler의 경계를 크게 향상시키고, k-ary 알파벳으로의 확장까지 가능하게 한 것이다.

ABSTRACT

We bound the number of nearly orthogonal vectors with fixed VC-dimension over $\setpm^n$. Our bounds are of interest in machine learning and empirical process theory and improve previous bounds by Haussler. The bounds are based on a simple projection argument and the generalize to other product spaces. Along the way we derive tight bounds on the sum of binomial coefficients in terms of the entropy function.

연구 동기 및 목표

• VC-차원 d와 거의 직교하는 벡터(ε ≈ 1/2)를 가지는 함수 클래스에 대한 패킹 수 M(ε,d)에 대한 기존 경계를 개선하는 것.
• Haussler의 경계에서 발생하는 상수 간격을 해결하기 위해, [1, 2e] 범위로 간격을 좁히는 더 단순한 구성 방법을 제시함으로써 이 간격을 메우는 것.
• 일반화된 VC-차원과 엔트로피 기반의 합계 경계를 사용하여 이분 알파벳을 초월해 k-ary 함수 클래스로 분석을 확장하는 것.
• γ = 1−2ε = O(1/poly(n))일 때 M(ε,d)가 n에 대해 다항식으로 유계가 될 수 없음을 증명하여, 이 영역에서 다항식 경계에 대한 부정적인 결과를 해결하는 것.

제안 방법

• VC-차원이 유계인 함수 클래스 내에서 ε-분리된 부분집합의 크기를 제한하기 위해 투영 논증을 사용한다.
• 이항계수의 합 ∑_{i=0}^d \binom{n}{i}에 대한 엔트로피 기반 경계를 적용하여, 이진 엔트로피 함수의 볼록성과 타일러 전개를 통해 날카운 상한을 유도한다.
• k-ary 알파벳에 대한 일반화된 엔트로피 기반 경계를 도입: ∑_{i=0}^d \binom{n}{i}k^i < 0.94 · 2^{nH(d/n) + d log k}.
• 새로운 상한 M((1−γ)/2,d) ≤ 100 · 2^{dβ(γ)}를 확립하며, β(γ)는 엔트로피와 벡터 직교성으로부터 유도된 함수이다.
• 정규화된 하밍 거리 ρ와 내적 ⟨x,y⟩ 사이의 관계 2ρ(x,y) + ⟨x,y⟩ = 1을 활용하여, γ = 1−2ε 기반의 직교성 조건으로 재정의한다.
• 이항계수의 농도와 尾確率 경계를 사용하여 엔트로피 기반 상한을 도출하며, 타일러 전개를 통한 명시적 상수를 확보한다.

실험 결과

연구 질문

• RQ1 Haussler의 경계보다 더 날카운 경계로, 거의 직교하는 함수 클래스(ε ≈ 1/2)에 대한 패킹 수 M(ε,d)를 유계로 제한할 수 있는가?
• RQ2 ε ≈ 1/2 근처에서 log M(ε,d)의 최적 渐近적 성장률은 d와 ε의 함수로 어떻게 표현되는가?
• RQ3 Haussler의 경계는 상수 인자로 개선될 수 있는가? 특히 핵심 상수에서 1/2e와 2e 사이의 간격을 메울 수 있는가?
• RQ4 γ = 1−2ε = O(1/poly(n))일 때 M(ε,d)에 대한 다항식-기반 경계가 성립하는가?
• RQ5 일반화된 VC-차원 프레임워크를 사용하여 이진 VC-차원 경계를 k-ary 알파벳으로 일반화할 수 있는가?

주요 결과

• 논문은 새로운 상한 M((1−γ)/2,d) ≤ 100 · 2^{dβ(γ)}를 확립하였으며, 이는 소규모 γ에 대해 Haussler의 경계 ln(4e/(1−γ)) per d 보다 상당히 향상된 성장률을 보이며, d에 대해 (ln 2)β(γ) 비율로 渐近적으로 증가한다.
• 소규모 γ에 대해 새로운 경계는 Haussler의 경계보다 d에 대해 초지수적 인자로 향상되며, 로그 성장률 비율의 비율이 상수 인자로 향상됨을 보였다.
• 저자들은 엔트로피 함수 분석과 타일러 전개를 사용하여 ∑_{i=0}^d \binom{n}{i} < 0.98 · 2^{nH(d/n)}이라는 날카운 경계를 도출하였으며, 이는 이전 추정치를 향상시킨다.
• k-ary 알파벳에 대해서는 ∑_{i=0}^d \binom{n}{i}k^i < 0.94 · 2^{nH(d/n) + d log k}라는 경계를 확립하였으며, 이는 일반화된 VC-차원 기반으로서 처음으로 이러한 패킹 경계를 제공한다.
• 논문은 γ = 1−2ε = O(1/poly(n))일 때 M(ε,d)가 n에 대해 다항식으로 유계가 될 수 없음을 증명하여, 이 영역에서 다항식 경계에 대한 부정적인 결과를 해결하였다.
• 더 단순한 구성 방법을 제시하여 M(ε,d) ≥ (1/(2e(ε + d/n)))^d라는 하한을 달성하였으며, 이는 Haussler의 경계에서 발생하는 상수 간격을 [1, 2e] 범위로 좁히며, 최근 결과와 일치하지만 더 직접적인 증명을 제공한다.