[논문 리뷰] Tight Bounds on Low-degree Spectral Concentration of Submodular and XOS functions

Vitaly Feldman, Jan Vondrák|arXiv (Cornell University)|2015. 04. 13.

Machine Learning and Algorithms참고 문헌 33인용 수 6

한 줄 요약

이 논문은 균일 분포 위에서 ℓ₂ 노름에서 하위모듈라 함수 및 XOS 함수에 대한 저차수 다항근사의 차수에 대해 날카로운 경계를 확립한다. 하위모듈라 함수는 ε-근사에 대해 Θ(1/ε⁴/⁵) 차수를 필요로 하며, XOS 함수는 Θ(1/ε) 차수를 필요로 한다. 이는 이전의 O(1/ε²) 상계에 비해 크게 향상되었고, 기존의 하계와의 격차를 메웠다.

ABSTRACT

Submodular and fractionally subadditive (or equivalently XOS) functions play a fundamental role in combinatorial optimization, algorithmic game theory and machine learning. Motivated by learnability of these classes of functions from random examples, we consider the question of how well such functions can be approximated by low-degree polynomials in $\ell_2$ norm over the uniform distribution. This question is equivalent to understanding of the concentration of Fourier weight on low-degree coefficients, a central concept in Fourier analysis. We show that 1. For any submodular function $f:\{0,1\}^n ightarrow [0,1]$, there is a polynomial of degree $O(\log (1/ε) / ε^{4/5})$ approximating $f$ within $ε$ in $\ell_2$, and there is a submodular function that requires degree $Ω(1/ε^{4/5})$. 2. For any XOS function $f:\{0,1\}^n ightarrow [0,1]$, there is a polynomial of degree $O(1/ε)$ and there exists an XOS function that requires degree $Ω(1/ε)$. This improves on previous approaches that all showed an upper bound of $O(1/ε^2)$ for submodular and XOS functions. The best previous lower bound was $Ω(1/ε^{2/3})$ for monotone submodular functions. Our techniques reveal new structural properties of submodular and XOS functions and the upper bounds lead to nearly optimal PAC learning algorithms for these classes of functions.

연구 동기 및 목표

• 균일 분포 위에서 하위모듈라 및 XOS 함수를 저차수 다항식으로 ℓ₂ 노름에서 근사할 때 필요한 정확한 차수 경계를 규명하는 것.
• 이전에 알려진 O(1/ε²) 상계와 하위모듈라 함수에 대한 Ω(1/ε²/³) 하계 사이의 격차를 메우는 것.
• 하위모듈라 및 XOS 함수의 스펙트럴 농도 집중이 일반적인 함수 클래스가 아니라 그 구조적 특성에 의해 본질적으로 제한된다는 것을 입증하는 것.
• 이 경계들이 이러한 함수 클래스에 대해 거의 최적의 PAC 학습 알고리즘을 이끌어낼 수 있음을 보여주는 것.
• 결과가 더 넓은 자기바운딩 함수 클래스로 확장될 수 없음을 보여주는 것 — 이는 자기바운딩 함수들이 지수적으로 높은 차수를 요구하기 때문이다.

제안 방법

• 하위모듈라 및 XOS 함수의 푸리에 스펙트럼을 분석하여 ℓ₂ 노름이 낮은 차수 계수에 얼마나 집중되어 있는지 정량화하는 것.
• 노이즈 민감도 및 영향 기반 기법을 사용하여 ε-근사에 필요한 차수에 대한 상계를 도출하는 것.
• 해밍 코드를 사용하여 딱딱한 부울 함수를 자기바운딩 함수에 통합하는 조합적 구성 기법을 활용한 명시적 하계 예제를 제작하는 것.
• ℓ₂ 근사와 푸리에 가중치 분포 사이의 이중성 원리를 적용하여 다항식 차수와 근사 오차를 연결하는 것.
• 일반 부울 함수 학습 문제를 자기바운딩 함수 학습 문제로 무작위 임bedding을 통해 환원하여 필요한 차수에 대한 하계를 확립하는 것.
• 준타 근사 및 총 영향에 관한 결과를 활용하여 하위모듈라 및 XOS 함수에 대한 차수 경계를 도출하는 것.

실험 결과

연구 질문

• RQ1 균일 분포 위에서 ℓ₂ 노름에서 임의의 하위모듈라 함수 f: {0,1}ⁿ → [0,1]를 ε-근사하기 위해 필요한 정확한 차수 경계는 무엇인가?
• RQ2 균일 분포 위에서 ℓ₂ 노름에서 임의의 XOS 함수 f: {0,1}ⁿ → [0,1]를 ε-근사하기 위해 필요한 정확한 차수 경계는 무엇인가?
• RQ3 이전에 알려진 하위모듈라 함수 근사에 대한 O(1/ε²) 상계는 향상시킬 수 있으며, 만약 가능하면 얼마나 향상될 수 있는가?
• RQ4 하위모듈라 및 XOS 함수의 스펙트럴 농도 집중은 일반 자기바운딩 함수와 본질적으로 다를까?
• RQ5 유도된 차수 경계를 사용하여 하위모듈라 및 XOS 함수에 대해 거의 최적의 PAC 학습 알고리즘을 구성할 수 있는가?

주요 결과

• 임의의 하위모듈라 함수 f: {0,1}ⁿ → [0,1]에 대해, ℓ₂ 노름에서 ε-근사에 필요한 차수는 O(log(1/ε)/ε⁴/⁵)이며, 이 경계는 로그 인자 외에는 날카로운 경계이다.
• ε-근사에 대해 Ω(1/ε⁴/⁵) 차수를 요구하는 하위모듈라 함수가 존재하며, 이는 상계와 로그 인자 외에는 정확히 일치한다.
• 임의의 XOS 함수 f: {0,1}ⁿ → [0,1]에 대해, ℓ₂ 노름에서 ε-근사에 필요한 차수는 O(1/ε)이며, 이 경계는 날카로운 경계이다.
• ε-근사에 대해 Ω(1/ε) 차수를 요구하는 XOS 함수가 존재하며, 이는 상계의 날카로움을 확인한다.
• 이 결과들은 하위모듈라 및 XOS 함수 모두에 대해 이전의 O(1/ε²) 상계를 향상시켰으며, 이는 이전의 Ω(1/ε²/³) 하계와의 격차를 메웠다.
• 하위모듈라 및 XOS 함수의 스펙트럴 농도 집중 경계는 더 넓은 자기바운딩 함수 클래스로 확장될 수 없으며, 이러한 함수들은 Ω(1/ε²) 차수를 요구함으로써 본질적인 구조적 차이를 보여준다.