[논문 리뷰] Instance Optimal Learning

Gregory Valiant, Paul Valiant|arXiv (Cornell University)|2015. 04. 21.

Machine Learning and Algorithms참고 문헌 32인용 수 10

한 줄 요약

이 논문은 i.i.d. 표본에서 경험 분포를 탈노이즈하여 최소한의 $\mu_1$ 오차를 달성하는 인스턴스 최적의 학습 알고리즘을 제시한다. 진짜 분포에 대한 사전 가정 없이도 작동하며, 진짜 분포가 지지역과 표본 크기 외에는 알려져 있지 않더라도, 어떤 분포이든 최적 오차에 $o_n(1)$ 이내로 수렴한다. 이 방법은 다단계 라운딩 기반의 적응형 히스토그램 버킷 정렬을 사용하여, 진짜 분포의 구조에 대한 사전 정보 없이도 최적 오차에 근접한 성능을 달성한다.

ABSTRACT

We consider the following basic learning task: given independent draws from an unknown distribution over a discrete support, output an approximation of the distribution that is as accurate as possible in $\ell_1$ distance (i.e. total variation or statistical distance). Perhaps surprisingly, it is often possible to "de-noise" the empirical distribution of the samples to return an approximation of the true distribution that is significantly more accurate than the empirical distribution, without relying on any prior assumptions on the distribution. We present an instance optimal learning algorithm which optimally performs this de-noising for every distribution for which such a de-noising is possible. More formally, given $n$ independent draws from a distribution $p$, our algorithm returns a labelled vector whose expected distance from $p$ is equal to the minimum possible expected error that could be obtained by any algorithm that knows the true unlabeled vector of probabilities of distribution $p$ and simply needs to assign labels, up to an additive subconstant term that is independent of $p$ and goes to zero as $n$ gets large. One conceptual implication of this result is that for large samples, Bayesian assumptions on the "shape" or bounds on the tail probabilities of a distribution over discrete support are not helpful for the task of learning the distribution. As a consequence of our techniques, we also show that given a set of $n$ samples from an arbitrary distribution, one can accurately estimate the expected number of distinct elements that will be observed in a sample of any size up to $n \log n$. This sort of extrapolation is practically relevant, particularly to domains such as genomics where it is important to understand how much more might be discovered given larger sample sizes, and we are optimistic that our approach is practically viable.

연구 동기 및 목표

• i.i.d. 표본의 경험 분포를 탈노이즈하여 진짜 분포와의 $\ell_1$ 거리를 최소화하는 학습 알고리즘을 개발하는 것. 이때 분포의 구조에 대한 사전 가정이 필요로 하지 않는다.
• 모든 분포에 대해, 진짜 확률 벡터의 레이블이 없는 버전을 알고 있는 알고리즘이 이룰 수 있는 이론적 최소 오차에 근접한 오차 한계를 확보하는 것.
• 분포 꼬리나 구조에 대한 베이지안 또는 형태 기반 사전 정보가 대규모 표본에서 $\ell_1$ 오차를 최소화하는 데 유리하지 않음을 보여주는 것.
• 크기가 $n$인 표본으로부터 크기가 $n\log n$인 더 큰 표본에서의 미관측 원소의 기대 수를 정확하게 외삽할 수 있도록 하는 것.

제안 방법

• 알고리즘은 $j$로 인덱싱된 단계를 거쳐 경험 히스토그램을 처리하며, 각 단계는 확률 질량이 $[2^{-(j+1)}, 2^{-j})$ 구간에 속하는 것을 고려한다.
• 각 단계에서 히스토그램 값에 대해 두 번의 라운딩을 수행한다: 첫 번째로 첫 번째 원소를 올림하고, 총 질량을 유지하기 위해 누적 차이 변수 $diff$ 를 조정한다.
• 원래 히스토그램 $g$ 와 탈노이즈된 출력 $h$ 사이의 오차를 제한하기 위해 상대적 지구이동자 거리 프레임워크를 사용하며, 누적 분포 비교를 활용한다.
• 지구이동자 거리에 변수를 바꾸어 $x$ 를 $\log x$ 로 변환함으로써, 각 단계에서 $O(2^{-j})$ 의 오차를 얻을 수 있도록 통합 구간을 설정한다.
• 원래 질량 $m$ 과 누적 라운딩 불균형 $diff$ 를 고려하여, 라운딩된 값을 $m/(m+diff)$ 로 스케일링하여 질량 보존을 확보한다.
• 최종 오차 한계는 $j \geq \lfloor |\log_2 \alpha| \rfloor$ 인 모든 단계에 대해 합산하여 유도되며, 주어진 $\alpha$ 에 대해 총 오차는 $20\alpha$ 가 된다.

실험 결과

연구 질문

• RQ1 진짜 분포에 대한 사전 구조 가정 없이도 경험 분포를 탈노이즈하여 경험 분포의 $\ell_1$ 오차보다 유의미하게 낮춘 오차를 달성할 수 있는가?
• RQ2 모든 분포에 대해, $n \to \infty$ 일 때 사라지는 비상수 항을 제외하고는 최소 가능한 기대 $\ell_1$ 오차를 달성하는 알고리즘이 존재하는가?
• RQ3 분포의 형태나 꼬리 행동에 대한 베이지안 가정이 $\ell_1$ 기준으로 학습 성능을 얼마나 향상시키는가?
• RQ4 크기가 $n$인 표본으로부터 크기가 $n\log n$인 더 큰 표본에서의 고유 원소의 기대 수를 정확하게 추정할 수 있는가?

주요 결과

• 알고리즘은 $\mathbb{E}[\|p - q\|_1] \leq \text{opt}(p,n) + o_n(1)$ 을 만족하며, 여기서 $\text{opt}(p,n)$ 는 진짜 확률 벡터의 레이블 없는 버전을 알고 있는 알고리즘이 이룰 수 있는 최소 기대 오차이다.
• 오차 한계는 인스턴스 최적이다: 모든 분포 $p$ 에 대해, 진짜 분포가 지지역과 표본 크기 외에는 알려져 있지 않더라도 알고리즘의 성능은 최적 오차에 $o_n(1)$ 이내이다.
• 알고리즘은 $n$개 표본으로부터 크기가 $n\log n$인 표본에서의 고유 원소 기대 수를 정확하게 추정할 수 있도록 한다.
• 분포의 형태나 꼬리 감쇠에 대한 사전 정보는 대규모 표본 근처에서 $\ell_1$ 오차를 줄이는 데 도움이 되지 않음을 보여주며, 이러한 가정 없이도 최적 오차가 달성된다.
• 원래 분포와 탈노이즈된 분포 사이의 상대적 지구이동자 거리는 주어진 $\alpha$ 에 대해 $20\alpha$ 이내로 제한되며, 이 제한은 단계별 분석과 적분 내의 변수 변환을 통해 유도된다.
• 알고리즘의 오차 항 $o_n(1)$ 은 $n \to \infty$ 일 때 사라지며, 이는 특정 분포 $p$ 에 따라 달라지지 않고 오직 $n$ 에만 의존한다.