[논문 리뷰] A Sample Complexity Measure with Applications to Learning Optimal Auctions

Vasilis Syrgkanis|arXiv (Cornell University)|2017. 04. 09.

Auction Theory and Applications참고 문헌 9인용 수 12

한 줄 요약

이 논문은 최적의 경매 학습 분석을 단순화하는 새로운 표본 복잡도 측정법인 분할 표본 성장률을 소개한다. 기대 일반화 오차가 $ O\left(\sqrt{\frac{\log(\hat{\tau}_H(2m))}{m}}\right) $ 로 유계임을 보여, 특히 ERM 출력이 표본 값에만 의존하는 진정성 경매 클래스에 대해 의사차원 또는 압축 경계에 의존하지 않고도 더 날카롭고 직관적인 표본 복잡도 경계를 제공한다.

ABSTRACT

We introduce a new sample complexity measure, which we refer to as split-sample growth rate. For any hypothesis $H$ and for any sample $S$ of size $m$, the split-sample growth rate $\hatτ_H(m)$ counts how many different hypotheses can empirical risk minimization output on any sub-sample of $S$ of size $m/2$. We show that the expected generalization error is upper bounded by $O\left(\sqrt{\frac{\log(\hatτ_H(2m))}{m}} ight)$. Our result is enabled by a strengthening of the Rademacher complexity analysis of the expected generalization error. We show that this sample complexity measure, greatly simplifies the analysis of the sample complexity of optimal auction design, for many auction classes studied in the literature. Their sample complexity can be derived solely by noticing that in these auction classes, ERM on any sample or sub-sample will pick parameters that are equal to one of the points in the sample.

연구 동기 및 목표

• 일般화 오차 분석을 단순화하는 새로운 표본 복잡도 측정법을 개발하는 것.
• 다양한 진정성 경매 클래스에 걸쳐 표본 복잡도 경계를 도출하는 통합 프레임워크를 제공하는 것.
• 의사차원이나 압축 경계와 같은 복잡한 도구를 대체하여, 부분 표본에서의 경험 위험 최소화 기반의 더 단순하고 직관적인 측정법을 제안하는 것.
• 항목 가격 설정, 번들 가격 설정 및 그 조합과 같은 일반적인 경매 형식에 대해 더 날카운 표본 복잡도 경계를 얻는 것.
• ERM 매개변수가 표본 값에 제약을 받는 경매 클래스에서 분할 표본 성장률이 본질적인 복잡도를 잘 반영함을 보여주는 것.

제안 방법

• 크기 $ m $ 의 표본 $ S $ 에서 크기 $ \lceil m/2 \rceil $ 의 부분 표본에 대해 ERM가 출력할 수 있는 모든 가설의 집합인 분할 표본 가설 공간 $ \hat{H}_S $ 을 정의한다.
• 분할 표본 성장률 $ \hat{\tau}_H(m) = \sup_S |\hat{H}_S| $ 을 정의하여, 크기 $ m/2 $ 의 부분 표본에서 ERM가 생성할 수 있는 서로 다른 가설의 최대 수를 측정한다.
• 일般화 오차 경계를 수립한다: $ \mathbb{E}[\textsc{R}_D(h_S)] \geq \sup_h \textsc{R}_D(h) - O\left(\sqrt{\frac{\log(\hat{\tau}_H(2m))}{m}}\right) $.
• ERM 매개변수(예: 입찰자 보증 가격, 임계값 등)가 표본 값 중 하나여야 하는 경매 클래스에 이 측정법을 적용하여 $ \hat{\tau}_H(m) $ 에 대한 다항식 경계를 도출한다.
• 이 경계를 활용해 가상 복리 경매에 대해 표본 복잡도 $ m_H(\epsilon) = O\left(\frac{n \log(1/\epsilon)}{\epsilon^3}\right) $ 와 항목 및 번들 가격 설정에 대해 $ O\left(\frac{nk \log(1/\epsilon)}{\epsilon^2}\right) $ 를 유도한다.
• 기존의 의사차원 기반 분석에서 나타나는 로그 인자들을 제거하여 더 깔끔하고 날카운 경계를 도출함을 보여준다.

실험 결과

연구 질문

• RQ1 최적의 경매 학습에서 일반화 오차 분석을 단순화하는 새로운 표본 복잡도 측정법을 개발할 수 있는가?
• RQ2 의사차원 또는 라데마처 복잡도와 같은 기존 도구보다 분할 표본 성장률이 더 날카롭고 직관적인 표본 복잡도 경계를 제공하는가?
• RQ3 ERM 출력이 표본 값에만 의존하는 경매 클래스에 대해 분할 표본 성장률을 사용해 명시적인 표본 복잡도 경계를 도출할 수 있는가?
• RQ4 기존의 복잡도 측정법에서 발생하는 로그 인자를 제거할 수 있는가?
• RQ5 진정성 경매 메커니즘의 일반화 오차 경계에서 이 새로운 측정법은 이전 방법보다 얼마나 효과적인가?

주요 결과

• 기대 일반화 오차는 $ O\left(\sqrt{\frac{\log(\hat{\tau}_H(2m))}{m}}\right) $ 로 유계이며, 학습 성능에 대한 깔끔하고 일반적인 경계를 제공한다.
• 표본 값에 $ \epsilon $-그리드 임계값이 적용된 $ t $-레벨 가상 복리 경매의 경우 $ \hat{\tau}_H(m) \leq m^{n/\epsilon} $ 이며, 이에 따라 표본 복잡도 $ m_H(\epsilon) = O\left(\frac{n \log(1/\epsilon)}{\epsilon^3}\right) $ 이 도출된다.
• 추가 가치에 대한 익명 보증 가격 설정의 경우 $ n $ 명의 입찰자와 $ k $ 개의 항목이 있을 때 $ \hat{\tau}_H(m) = m \cdot n $ 이며, 이에 따라 표본 복잡도는 $ O\left(\frac{n \log(1/\epsilon)}{\epsilon^2}\right) $ 이다.
• 비익명 보증 가격 설정의 경우 $ \hat{\tau}_H(m) \leq m^{n} $ 이며, 표본 복잡도는 여전히 $ O\left(\frac{n \log(1/\epsilon)}{\epsilon^2}\right) $ 이다.
• 조합된 번들 및 항목 가격 설정의 경우 $ \hat{\tau}_H(m) \leq m^{n(k+1)} $ 이며, 표본 복잡도는 $ O\left(\frac{n(k+1) \log(1/\epsilon)}{\epsilon^2}\right) $ 이다.
• 기존의 의사차원 기반 경계에서 나타나는 $ \log(nk) $ 인자를 제거하여 더 깔끔하고 날카운 표본 복잡도 추정치를 도출한다.