[논문 리뷰] Learning and Testing Junta Distributions with Subcube Conditioning

Xi Chen, Rajesh Jayaram외 2명|arXiv (Cornell University)|2020. 04. 26.

Machine Learning and Algorithms참고 문헌 55인용 수 6

한 줄 요약

이 논문은 $k$-junta 분포를 $\{-1,1\}^n$에서 학습하고 테스트하기 위한 최적 알고리즘을 제시한다. 하위입자 조건부 조건을 사용하여, 학습의 경우 $\tilde{O}(k/\epsilon^2)\log n + O(2^k/\epsilon^2)$개의 쿼리, 테스트의 경우 $\tilde{O}((k+\sqrt{n})/\epsilon^2)$개의 쿼리를 사용하며, 양자 모두 다항로그 요소를 제외한 최적이다. 이 접근법은 관련 변수를 식별하고 분포의 구조를 효율적으로 테스트하기 위해 새로운 재귀적 하위입자 조건부 프레임워크를 활용한다.

ABSTRACT

We study the problems of learning and testing junta distributions on $\{-1,1\}^n$ with respect to the uniform distribution, where a distribution $p$ is a $k$-junta if its probability mass function $p(x)$ depends on a subset of at most $k$ variables. The main contribution is an algorithm for finding relevant coordinates in a $k$-junta distribution with subcube conditioning [BC18, CCKLW20]. We give two applications: 1. An algorithm for learning $k$-junta distributions with $ ilde{O}(k/ε^2) \log n + O(2^k/ε^2)$ subcube conditioning queries, and 2. An algorithm for testing $k$-junta distributions with $ ilde{O}((k + \sqrt{n})/ε^2)$ subcube conditioning queries. All our algorithms are optimal up to poly-logarithmic factors. Our results show that subcube conditioning, as a natural model for accessing high-dimensional distributions, enables significant savings in learning and testing junta distributions compared to the standard sampling model. This addresses an open question posed by Aliakbarpour, Blais, and Rubinfeld [ABR17].

연구 동기 및 목표

• 균일 분포 하에서 고차원 공간에서 $k$-junta 분포를 학습하고 테스트하는 데 있어 계산적 과제를 해결하기 위해.
• 기본 샘플링 모델에서 내재된 '차원의 저주'를 극복하기 위해, 더 강력한 오라클 모델로 하위입자 조건부를 도입함으로써.
• 기본 샘플링 모델에서의 이전 샘플 복잡도를 향상시켜, $k$-junta 분포에 대한 최적 알고리즘을 설계하기 위해.
• Aliakbarpour, Blais, 및 Rubinfeld (2017)가 제기한, 하위입자 조건부가 $k$-junta 분포 문제에 대해 얼마나 강력한가에 대한 열린 문제를 해결하기 위해.

제안 방법

• 하나의 $k$-junta 분포에서 관련 변수를 식별하기 위해 반복적으로 좌표 부분집합에 대해 조건부를 적용하는 재귀적 하위입자 조건부 프레임워크를 개발하였다.
• 각 수준에서 확률이 점차 감소하는 하위입자 조건부를 적용하는 도메인의 계층적 분해를 사용하여, 관련 변수 집합을 효율적으로 탐색할 수 있도록 하였다.
• 핵심적인 구조 레미마는 제한된 하위입자에서의 평균 벡터의 기대 $\ell_2$-노름을 이용해 분포와 균일 분포 간의 총 변동 거리의 상한을 제시한다.
• 통계적 정확도를 유지하면서 필요한 조건부 샘플 수를 줄이기 위해 배치 압축 기법을 활용하였다.
• 비정상적인 분포를 탐지하기 위해 비정상 평균 테스트를 서브루틴으로 사용하여, 관련 변수를 식별할 수 있도록 하였다.
• 별개의 별개 집합에 대한 확률적 경계와 농도 불등식을 결합하여, 재귀적 수준 간의 오차 전파를 제어하였다.

실험 결과

연구 질문

• RQ1 기본 샘플링과 비교할 때 하위입자 조건부는 $k$-junta 분포를 학습하는 데 있어 쿼리 복잡도를 크게 감소시킬 수 있는가?
• RQ2 하위입자 조건부를 사용하여 분포가 $k$-junta인지 테스트하는 데 있어 최적의 쿼리 복잡도는 무엇인가?
• RQ3 어떻게 하위입자에 대한 조건부 쿼리를 사용하여 $k$-junta 분포의 관련 변수를 효율적으로 식별할 수 있는가?
• RQ4 하위입자 조건부는 고차원 분포 학습 및 테스트에서 차원의 저주를 어느 정도 완화시킬 수 있는가?

주요 결과

• 학습 알고리즘은 $\tilde{O}(k/\epsilon^2)\log n + O(2^k/\epsilon^2)$개의 하위입자 조건부 쿼리를 달성하며, 다항로그 요소를 제외한 최적이다.
• 테스트 알고리즘은 $\tilde{O}((k + \sqrt{n})/\epsilon^2)$개의 하위입자 조건부 쿼리가 필요하며, 정보 이론적 하한선과 로그 요소를 제외한 수준에서 일치한다.
• 제안된 알고리즘은 하위입자 조건부 하에서 $k$-junta 분포에 대한 학습 및 테스트 모두 최적의 쿼리 복잡도를 달성하는 최초의 알고리즘이다.
• 이 프레임워크는 고차원 $k$-junta 분포에 대해 기존 샘플링 모델 대비 지수적 감소를 가능하게 함을 보여주었다.
• 구조 레미마는 제한된 하위입자에서의 평균 벡터의 $\ell_2$-노름과 총 변동 거리 간의 연결고리를 설정하여 재귀적 분석을 가능하게 하였다.
• Aliakbarpour, Blais, 및 Rubinfeld (2017)가 제기한, 하위입자 조건부가 $k$-junta 분포 문제에 대해 얼마나 강력한가에 대한 열린 문제를 해결하였다.