[논문 리뷰] Sample Amplification: Increasing Dataset Size even when Learning is Impossible

Brian Axelrod, Shivam Garg외 2명|arXiv (Cornell University)|2019. 04. 26.

Statistics Education and Methodologies인용 수 4

한 줄 요약

이 논문은 소규모 원본 데이터셋으로부터 진정한 분포에서 i.i.d.로 추출된 것과 통계적으로 구분되지 않는 더 큰 합성 데이터셋을 생성하는 샘플 확대 기법을 소개한다. 이는 이산 분포에서 최대 k개의 원소를 가지며 공분산이 고정된 d차원 가우시안 분포의 경우, 분포를 학습할 수 있을 정도의 표본 수 n 이하일지라도, 각각 Θ(n/√k) 및 Θ(n/√d)의 표본을 확대하는 것이 가능함을 보여준다. 이는 분포 학습이 필수적인 것이 아니라는 것을 시사한다.

ABSTRACT

Given data drawn from an unknown distribution, $D$, to what extent is it possible to ``amplify'' this dataset and output an even larger set of samples that appear to have been drawn from $D$? We formalize this question as follows: an $(n,m)$ $\ ext{amplification procedure}$ takes as input $n$ independent draws from an unknown distribution $D$, and outputs a set of $m > n$ ``samples''. An amplification procedure is valid if no algorithm can distinguish the set of $m$ samples produced by the amplifier from a set of $m$ independent draws from $D$, with probability greater than $2/3$. Perhaps surprisingly, in many settings, a valid amplification procedure exists, even when the size of the input dataset, $n$, is significantly less than what would be necessary to learn $D$ to non-trivial accuracy. Specifically we consider two fundamental settings: the case where $D$ is an arbitrary discrete distribution supported on $\\le k$ elements, and the case where $D$ is a $d$-dimensional Gaussian with unknown mean, and fixed covariance. In the first case, we show that an $\\left(n, n + \\Theta(\\frac{n}{\\sqrt{k}})\ ight)$ amplifier exists. In particular, given $n=O(\\sqrt{k})$ samples from $D$, one can output a set of $m=n+1$ datapoints, whose total variation distance from the distribution of $m$ i.i.d. draws from $D$ is a small constant, despite the fact that one would need quadratically more data, $n=\\Theta(k)$, to learn $D$ up to small constant total variation distance. In the Gaussian case, we show that an $\\left(n,n+\\Theta(\\frac{n}{\\sqrt{d}} )\ ight)$ amplifier exists, even though learning the distribution to small constant total variation distance requires $\\Theta(d)$ samples. In both the discrete and Gaussian settings, we show that these results are tight, to constant factors. Beyond these results, we formalize a number of curious directions for future research along this vein.

연구 동기 및 목표

• 알 수 없는 분포 D에서 추출된 i.i.d. 표본과 통계적으로 구분되지 않는 더 큰 데이터셋을 생성하는 문제를 체계화하는 것.
• 분포 D를 비트레이스러운 정확도로 학습하기에 충분한 표본 수보다 작을 때조차도 데이터셋을 확대할 수 있는지 조사하는 것.
• 두 가지 기본 설정인 유한한 이산 분포와 공분산이 고정된 고차원 가우시안 분포에서 가능한 최대 확대량에 대한 날카로운 경계를 설정하는 것.
• 입력 표본 수 n이 분포 학습에 필요한 표본 복잡도보다 현저히 작을 때조차도 확대가 가능함을 보여주는 것.
• 데이터 확대의 이론적 및 실용적 의미를 탐색하며, 생성 모델링과 강건성 테스트 등에의 응용을 고려하는 것.

제안 방법

• 표본 수 n에서 m > n개의 표본으로의 변환 함수 f를 정의하는 (n,m) 절차로 샘플 확대를 체계화하여, 출력 데이터의 전체 변화 거리가 D에서의 m개의 i.i.d. 표본과 1/3 이내가 되도록 보장하는 것.
• 검증자 기반 프레임워크를 활용: 통계적 이상 징후(예: 고유 원소 수)를 확인하는 구분자(distinguisher)를 통해 합성 데이터인지 진짜 데이터인지 판별하는 것.
• 고유 원소 수의 기대값 E[U^n]과 그 집중도를 농도 불등식(예: 허프딩 유형의 경계)을 통해 분석하여, 너무 많은 또는 너무 적은 고유 원소를 생성하는 확대기는 탐지 가능함을 보여주는 것.
• 입력 표본의 경험적 분포를 활용하고, 경험적 분포의 매끄러운 변형에서 표본을 추출하여 새로운 표본을 추가하는 확대기를 설계하여 통계적 구분 불가능성을 확보하는 것.
• 고유 표본 수의 변동을 감지하는 검증자를 구성하여, 경계를 초과하는 모든 확대기가 높은 확률로 식별 가능함을 증명함으로써 확대 경계의 날카로움을 입증하는 것.
• 체비셰프 및 체르노프 유형의 경계를 적용하여 입력 및 확대된 데이터셋에서 고유 표본 수의 집중도를 확보하고, 검증자가 진짜 데이터와 합성 데이터를 높은 확신으로 구분할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 진정한 분포 D에서 i.i.d.로 추출된 표본과 통계적으로 구분되지 않는 더 큰 데이터셋을 소규모 표본에서 생성할 수 있는가?
• RQ2 입력 표본 수가 분포 D를 비트레이스러운 정확도로 학습하기에 충분하지 않은 경우조차도 데이터셋을 확대할 수 있는가?
• RQ3 n과 분포 D의 복잡도(예: 이산 분포의 경우 k, 가우시안의 경우 d)에 따라 최대 몇 개의 표본까지 확대할 수 있는가?
• RQ4 제안된 확대 경계가 이산 및 가우시안 설정 모두에서 상수 요소의 오차 범위 내에서 날카로운지 증명할 수 있는가?
• RQ5 이러한 확대 기법이 생성 모델링, 분포 테스팅, 기계학습의 강건성 평가에 어떤 영향을 미치는가?

주요 결과

• 최대 k개의 지지 원소를 가지는 모든 이산 분포에 대해, (n, n + Θ(n/√k)) 확대 절차가 존재하며, 이는 n = O(√k)일지라도 가능하다. 이는 분포 학습에 필요한 Θ(k) 표본 수보다 제곱근 수준으로 작다.
• 공분산이 고정된 d차원 가우시안 분포에 대해서도, (n, n + Θ(n/√d)) 확대 절차가 존재하며, 이는 분포 학습에 Θ(d) 표본이 필요하더라도 가능함을 보여준다.
• 확대 경계는 상수 요소의 오차 범위 내에서 날카로우며, 이산 분포에 대해선 (n, n + ω(n/√k)) 확대기가 존재하지 않으며, 가우시안 분포에 대해서도 (n, n + ω(n/√d)) 확대기는 존재하지 않는다.
• 확대 과정은 분포 D를 학습하지 않으며, 입력 표본의 경험적 분포만을 사용하고, 신중하게 설계된 매끄러운 메커니즘을 통해 새로운 표본을 추가함으로써 실현된다.
• 고유 원소 수가 기대값에서 크게 벗어나면, 검증자가 확대된 데이터를 진짜 i.i.d. 표본과 높은 확률로 구분할 수 있으며, 이는 경계의 날카로움을 입증한다.
• 결과적으로, 분포 학습에 필요한 표본 수보다 훨씬 적은 표본 수로도 통계적 구분 불가능성이 달성될 수 있음을 보여주며, 학습과 확대 사이에 근본적인 차이가 있음을 드러낸다.