[논문 리뷰] Nearly Optimal Bounds for Sample-Based Testing and Learning of $k$-Monotone Functions

Hadley Black|arXiv (Cornell University)|2023. 10. 18.

Machine Learning and Algorithms인용 수 1

한 줄 요약

이 논문은 초입방과 연속적 제품 공간에서 $k$-모노톤 함수의 테스팅과 학습에 대해 거의 날카로운 표본 복잡도 경계를 확립한다. 함수 $f: \{0,1\}^d \to [r]$에 대한 $k$-모노톤성 테스팅과 학습에 대해 $\exp(\Omega(\min\{\frac{rk}{\varepsilon}\sqrt{d}, d\}))$의 하한을 증명하며, 지수 항의 상수 인자 외에는 기존 상한과 일치하고, 표본 효율성을 향상시켜 제품 분포 하에서 $\mathbb{R}^d$로 이러한 결과를 확장한다.

ABSTRACT

We study monotonicity testing of functions $f \colon \{0,1\}^d o \{0,1\}$ using sample-based algorithms, which are only allowed to observe the value of $f$ on points drawn independently from the uniform distribution. A classic result by Bshouty-Tamon (J. ACM 1996) proved that monotone functions can be learned with $\exp(\widetilde{O}(\min\{\frac{1}{\varepsilon}\sqrt{d},d\}))$ samples and it is not hard to show that this bound extends to testing. Prior to our work the only lower bound for this problem was $Ω(\sqrt{\exp(d)/\varepsilon})$ in the small $\varepsilon$ parameter regime, when $\varepsilon = O(d^{-3/2})$, due to Goldreich-Goldwasser-Lehman-Ron-Samorodnitsky (Combinatorica 2000). Thus, the sample complexity of monotonicity testing was wide open for $\varepsilon \gg d^{-3/2}$. We resolve this question, obtaining a nearly tight lower bound of $\exp(Ω(\min\{\frac{1}{\varepsilon}\sqrt{d},d\}))$ for all $\varepsilon$ at most a sufficiently small constant. In fact, we prove a much more general result, showing that the sample complexity of $k$-monotonicity testing and learning for functions $f \colon \{0,1\}^d o [r]$ is $\exp(Ω(\min\{\frac{rk}{\varepsilon}\sqrt{d},d\}))$. For testing with one-sided error we show that the sample complexity is $\exp(Θ(d))$. Beyond the hypercube, we prove nearly tight bounds (up to polylog factors of $d,k,r,1/\varepsilon$ in the exponent) of $\exp(\widetildeΘ(\min\{\frac{rk}{\varepsilon}\sqrt{d},d\}))$ on the sample complexity of testing and learning measurable $k$-monotone functions $f \colon \mathbb{R}^d o [r]$ under product distributions. Our upper bound improves upon the previous bound of $\exp(\widetilde{O}(\min\{\frac{k}{\varepsilon^2}\sqrt{d},d\}))$ by Harms-Yoshida (ICALP 2022) for Boolean functions ($r=2$).

연구 동기 및 목표

• 표본 기반 모델에서 $\varepsilon \gg d^{-3/2}$ 인 경우에 대해 모노톤성 테스팅과 학습의 표본 복잡도 경계 간 격차를 메우기.
• 함수 $f: \{0,1\}^d \to [r]$에 대한 $k$-모노톤성 테스팅과 학습에 대해 거의 최적의 하한을 확립하기.
• 이러한 경계를 연속적 제품 공간으로 확장하여 $\mathbb{R}^d$에서 가측 가능한 $k$-모노톤 함수의 테스팅과 학습에 대해 거의 날카로운 표본 복잡도를 제공하기.
• 제품 분포 하에서 $k$-모노톤 함수의 학습 알고리즘의 표본 복잡도를 향상시켜 새로운 하한과 다항로그 인자 정도의 오차로 일치시키기.

제안 방법

• 일반적인 표본 추출 하에서 구별 불가능성을 입증하기 위해 두 분포 $D_{\text{yes}}$와 $D_{\text{no}}$를 구성한다.
• 표본 쌍에 대한 유니온 바운드 기반의 확률적 추론을 사용하여, 모든 한쪽 오류 테스터는 비모노톤성을 탐지하기 위해 $\exp(\Omega(d))$개의 표본을 사용해야 한다고 보여준다.
• 쿠폰 수집 문제의 원리를 적용하여, 한쪽 오류 테스팅의 표본 복잡도 하한을 $\exp(\Omega(d))$로 확립한다.
• 하향 샘플링을 통해 $\mathbb{R}^d$ 위의 학습 문제를 하이퍼그리드 위의 문제로 환원하여 이산 기법의 적용을 가능하게 한다.
• VC 차원이 유계인 가설 클래스를 사용한 경험 리스크 최소화 기반 학습 알고리즘을 활용하여, 높은 확률로 일반화가 이루어지도록 보장한다.
• 테스팅-바이-러닝 프레임워크를 적용: $s(\varepsilon/4)$개의 표본을 사용하는 학습 알고리즘을 $s(\varepsilon/4) + O(1/\varepsilon^2)$개의 표본을 사용하는 테스터로 변환한다.

실험 결과

연구 질문

• RQ1 표본 기반 모델에서 함수 $f: \{0,1\}^d \to [r]$의 $k$-모노톤성 테스팅에 대한 최적의 표본 복잡도는 무엇인가?
• RQ2 기존 상한과 일치하는 거의 날카로운 하한을 $k$-모노톤성 테스팅과 학습에 대해 확립할 수 있는가?
• RQ3 연속적 제품 공간, 예를 들어 $\mathbb{R}^d$에서 $k$-모노톤 함수의 테스팅과 학습의 표본 복잡도는 어떻게 척도가 되는가?
• RQ4 표본 기반 테스팅 하한과 일치하도록 $\mathbb{R}^d$에서 $k$-모노톤 함수의 학습 알고리즘의 표본 복잡도를 향상시킬 수 있는가?

주요 결과

• 논문은 함수 $f: \{0,1\}^d \to [r]$에 대한 $k$-모노톤성 테스팅과 학습에 대해 거의 날카로운 하한 $\exp(\Omega(\min\{\frac{rk}{\varepsilon}\sqrt{d}, d\}))$를 확립한다.
• 한쪽 오류 테스팅의 경우 모노톤성($k=1$, $r=2$)에 대해 표본 복잡도는 $\exp(\Omega(d))$이며, 이는 상수 인자 외에는 날카로운 경계이다.
• $\mathbb{R}^d$에서 제품 분포 하의 $k$-모노톤 함수에 대한 학습 상한은 $\exp(\widetilde{O}(\min\{\frac{rk}{\varepsilon}\sqrt{d}, d\}))$이며, 지수 항의 다항로그 인자 외에는 하한과 일치한다.
• 개선된 $\mathbb{R}^d$ 학습 알고리즘이 새로운 표본 기반 테스팅 하한과 일치하여, 연속적 설정에서 오랫동안 존재하던 격차를 해결한다.
• 이전에 알려지지 않았던 $\varepsilon \gg d^{-3/2}$ 영역에서 모노톤성 테스팅의 표본 복잡도 격차가 해결된다.
• 표본 기반 테스팅에서 하한을 증명하기 위한 일반적 프레임워크를 제공하며, $k$-모노톤에서 멀리 떨어져 있지만 구별 불가능한 두 분포를 구성한다.