[논문 리뷰] Generalizing Complex Hypotheses on Product Distributions: Auctions, Prophet Inequalities, and Pandora's Problem

Chenghao Guo, Zhiyi Huang외 2명|arXiv (Cornell University)|2019. 11. 27.

Machine Learning and Algorithms참고 문헌 37인용 수 9

한 줄 요약

이 논문은 제품 분포 위에서의 학습 문제를 위한 일반화 이론을 제안하며, 전통적인 가설 클래스 복잡도 측정 방식을 회피한다. 유한한 마진널 지지 집합을 갖는 경우 $\frac{nk}{\rho^2}$, 강한 단조성 조건이 만족될 경우 $\frac{n}{\rho^2}$의 날카운 샘플 복잡도 경계를 확립하여, 경매, 프로비스트 부등식, 팬도라의 문제에 대해 최적의 경계를 가능하게 한다.

ABSTRACT

This paper explores a theory of generalization for learning problems on product distributions, complementing the existing learning theories in the sense that it does not rely on any complexity measures of the hypothesis classes. The main contributions are two general sample complexity bounds: (1) $ ilde{O} \big( \frac{nk}{ε^2} \big)$ samples are sufficient and necessary for learning an $ε$-optimal hypothesis in any problem on an $n$-dimensional product distribution, whose marginals have finite supports of sizes at most $k$; (2) $ ilde{O} \big( \frac{n}{ε^2} \big)$ samples are sufficient and necessary for any problem on $n$-dimensional product distributions if it satisfies a notion of strong monotonicity from the algorithmic game theory literature. As applications of these theories, we match the optimal sample complexity for single-parameter revenue maximization (Guo et al., STOC 2019), improve the state-of-the-art for multi-parameter revenue maximization (Gonczarowski and Weinberg, FOCS 2018) and prophet inequality (Correa et al., EC 2019), and provide the first and tight sample complexity bound for Pandora's problem.

연구 동기 및 목표

• 가설 클래스 복잡도가 아닌 데이터 구조에 초점을 맞춰 학습 이론의 격차를 메우기 위해 제품 분포를 고려한다.
• VC 또는 피조차수 차원과 같은 전통적 복잡도 측정 방식에 의존하지 않는 일반화 경계를 개발한다.
• 알고리즘 게임 이론 및 최적 정지 문제의 핵심 문제들에 대해 제품 분포 하에서 날카운 샘플 복잡도 경계를 제공한다.
• 단일 이론적 프레임워크를 통해 수익 최대화, 프로비스트 부등식, 팬도라의 문제에서 기존 결과를 통합하고 개선한다.
• 문제의 구조적 성질(예: 강한 단조성)이 단지 가설 복잡도 측정 방식보다 더 나은 샘플 복잡도를 제공할 수 있는지 탐색한다.

제안 방법

• 각 마진널이 최대 크기 $k$의 유한 지지 집합을 갖는 $n$차원 제품 분포 위에서의 학습 문제를 수립한다.
• 이러한 분포 위에서의 어떤 문제에 대해서도 가설 클래스 복잡도에 영향을 받지 않는 일반 샘플 복잡도 경계 $\tilde{O}(\frac{nk}{\epsilon^2})$ 를 도입한다.
• 알고리즘 게임 이론에서 유래한 강한 단조성의 개념을 정의하고 활용하여 더 날카운 경계 $\tilde{O}(\frac{n}{\epsilon^2})$ 를 유도한다.
• 제품 가정 하에 경험적 조건부 분포와 진짜 조건부 분포 사이의 관계를 헬링거 거리 및 총 변동 거리 경계를 통해 기반으로 한다.
• 집중 불등식과 코시-슈바르츠 부등식을 사용하여 제품 공간 위에서 기대값 추정의 오차를 제어한다.
• 유도된 샘플 복잡도 경계의 날카움을 입증하기 위해 하한을 확립한다.

실험 결과

연구 질문

• RQ1 가설 클래스 복잡도 측정 방식에 의존하지 않고 제품 분포 위에서의 학습 문제에 대해 일반화 경계를 도출할 수 있는가?
• RQ2 가격이 독립적으로 분포할 때, 수익 최대화 경매를 학습하기 위한 최적의 샘플 복잡도는 무엇인가?
• RQ3 최적화 문제에서의 강한 단조성이 일반 가설 클래스에 비해 더 나은 샘플 복잡도 경계를 제공할 수 있는가?
• RQ4 제품 분포 하에서 팬도라의 문제에 대해 가장 날카운 샘플 복잡도는 무엇인가?
• RQ5 가설 복잡도를 초월한 문제의 구조적 성질이 제품 공간에서의 일반화 보장을 향상시킬 수 있는가?

주요 결과

• 이 논문은 마진널 지지 집합 크기가 최대 $k$인 $n$차원 제품 분포 위에서 $\epsilon$-최적의 가설을 학습하기 위한 일반 샘플 복잡도 경계 $\tilde{O}(\frac{nk}{\epsilon^2})$ 를 확립한다.
• 강한 단조성이 만족되는 문제의 경우 샘플 복잡도는 $\tilde{O}(\frac{n}{\epsilon^2})$ 로 감소하며, 이는 날카롭고 단일 매개변수 수익 최대화의 최적 경계와 일치한다.
• 이 이론은 다중 매개변수 수익 최대화 문제에서 최신 기술을 향상시켜, 이전의 피조차수 또는 커버링 수를 기반으로 한 연구보다 샘플 복잡도를 감소시킨다.
• 팬도라의 문제에 대해 처음으로 날카운 샘플 복잡도 경계를 제공하여 최적 정지 및 순차적 샘플링 분야의 열린 문제를 해결한다.
• 경계들이 필요충분 조건임이 입증되어 하한과의 매칭을 통해 날카움이 입증된다.
• 이 프레임워크는 기존 학습 이론과 상호보완적이며, 가설 클래스가 복잡한데도 데이터 구조(제품 독립성)를 활용할 수 있을 경우 뛰어난 성능을 발휘한다.