[논문 리뷰] Efficient Robust Proper Learning of Log-concave Distributions

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2016. 06. 09.

Machine Learning and Algorithms참고 문헌 40인용 수 13

한 줄 요약

이 논문은 연속 및 이산 영역에서 단변량 로그볼록 분포에 대해 계산적으로 효율적이고 강건하며 적절한 학습 알고리즘을 처음으로 제안한다. 이 알고리즘은 최적의 표본 복잡도 $ O(\epsilon^{-5/2}) $ 를 달성하며, 시간 복잡도는 $ \tilde{O}(\epsilon^{-4}) $ 이고, 모델 잘못 지정에 비록 강인하더라도 총변화 거리에서 목표 분포와 $ O(\text{OPT}) + \epsilon $-근접한 로그볼록 가설을 출력한다.

ABSTRACT

A probability distribution over the Boolean cube is monotone if flipping the value of a coordinate from zero to one can only increase the probability of an element. Given samples of an unknown monotone distribution over the Boolean cube, we give (to our knowledge) the first algorithm that learns an approximation of the distribution in statistical distance using a number of samples that is sublinear in the domain. To do this, we develop a structural lemma describing monotone probability distributions. The structural lemma has further implications to the sample complexity of basic testing tasks for analyzing monotone probability distributions over the Boolean cube: We use it to give nontrivial upper bounds on the tasks of estimating the distance of a monotone distribution to uniform and of estimating the support size of a monotone distribution. In the setting of monotone probability distributions over the Boolean cube, our algorithms are the first to have sample complexity lower than known lower bounds for the same testing tasks on arbitrary (not necessarily monotone) probability distributions. One further consequence of our learning algorithm is an improved sample complexity for the task of testing whether a distribution on the Boolean cube is monotone.

연구 동기 및 목표

• 실수선과 정수선에서 단변량 로그볼록 분포에 대해 계산적으로 효율적이고 강건하며 적절한 학습 알고리즘을 개발하는 것.
• 로그볼록 가족에 대한 일반화 학습에서 최적의 표본 복잡도(상수 인자 이내)를 달성하는 것.
• 모델 잘못 지정에 강건하여, 가족 내 최고의 근사치와 경쟁 가능한 오차 보장을 제공하는 것.
• 다항 시간 내에 실행되면서도 적절성이라는 성질을 유지하는 방법을 설계하는 것 — 이는 통계 모델링에서 해석 가능성에 자주 요구되는 성질이다.

제안 방법

• 알고리즘은 이중 단계 접근법을 사용한다: 먼저, 목표 분포의 조각별 선형 근사치를 얻기 위해 비적절한 일반화 학습 알고리즘을 적용한다.
• 그 후, 조각별 선형 밀도를 로그볼록인 조각별 지수 함수로 근사하는 동적 프rogramming 프레임워크를 구축한다.
• 동적 프로그래밍은 가능한 로그확률 값과 간격 끝점의 이산화된 집합 위에서 작동하며, 최단경로 계산을 통해 가장 잘 맞는 로그볼록 밀도를 찾는다.
• 모든 로그볼록 밀도는 $ O(\epsilon^{-1/2}) $ 개의 조각을 갖는 조각별 선형 밀도로 $ \epsilon $-근사 가능하다는 근사 정리에 기반한다.
• 정확히 설계된 오차 한계를 통해 근사치와 진짜 밀도 사이의 총변화 거리를 계산하며, 이는 $ \|g - h\|_1 \leq O(\text{OPT} + \epsilon) $ 를 보장한다.
• 동적 프로그래밍의 구조를 통해 로그볼록 조건을 강제함으로써 최종 가설이 적절한 로그볼록 밀도임을 보장한다.

실험 결과

연구 질문

• RQ1 강건한 적절한 학습을 위해 단변량 로그볼록 분포에 대해 최적의 표본 복잡도를 달성할 수 있는가?
• RQ2 모델 잘못 지정에 강건한 다항 시간 알고리즘을 설계할 수 있는가? 이 알고리즘은 적절한 학습을 수행해야 한다.
• RQ3 진짜 분포가 로그볼록이 아니더라도, 가족 내 최고의 근사치에 가까운 로그볼록 밀도를 효율적으로 계산할 수 있는가?
• RQ4 근사 최적 오차 보장을 달성하면서도 적절성을 유지하는 데 드는 계산 비용은 얼마인가?

주요 결과

• 알고리즘이 $ O(\epsilon^{-5/2}) $ 의 표본 복잡도를 달성하며, 이는 상수 인자 이내로 정보 이론적으로 최적이다.
• 실행 시간은 $ \tilde{O}(\epsilon^{-4}) $ 이며, 표본 크기 $ n $ 기준으로 $ \tilde{O}(n^{8/5}) $ 이며, 입력 크기의 제곱 이하이다.
• 출력 가설 $ h $ 는 확률 9/10 이상에서 $ d_{\text{TV}}(h, f) \leq O(\text{OPT}) + \epsilon $ 를 만족하며, 여기서 $ \text{OPT} = \inf_{g \in \text{LC}(D)} d_{\text{TV}}(f, g) $ 이다.
• 이 알고리즘은 단변량 로그볼록 분포에 대해 적절하고 강건하며 효율적인 학습 솔루션을 제공하는 최초의 알고리즘으로, 오랫동안 남아 있던 열린 문제를 해결한다.
• 동적 프로그래밍 접근법은 $ k $ 개의 로그볼록 밀도 혼합물을 학습하는 데로 확장 가능하지만, 시간 복잡도는 $ k $ 에 대해 지수적이다.