[논문 리뷰] Inefficiency of Data Augmentation for Large Sample Imbalanced Data.

James E. Johndrow, Aaron Smith외 2명|arXiv (Cornell University)|2016. 05. 19.

Bayesian Methods and Mixture Models참고 문헌 43인용 수 6

한 줄 요약

이 논문은 대규모 표본, 비균형 다항분포 데이터 설정에서 데이터 증강 기반 게이블스 샘플링이 매우 열악한 혼합 성능을 보이며, 스펙트럴 갭이 표본 크기의 제곱근 비율 또는 그 이상으로 감소함을 입증한다. 반면, 증강되지 않은 알고리즘은 빠른 혼합 성능를 보이며, 이러한 영역에서 표준 데이터 증강의 근본적인 비효율성을 드러낸다.

ABSTRACT

Many modern applications collect large sample size and highly imbalanced categorical data, with some categories being relatively rare. Bayesian hierarchical models are well motivated in such settings in providing an approach to borrow information to combat data sparsity, while quantifying uncertainty in estimation. However, a fundamental problem is scaling up posterior computation to massive sample sizes. In categorical data models, posterior computation commonly relies on data augmentation Gibbs sampling. In this article, we study computational efficiency of such algorithms in a large sample imbalanced regime, showing that mixing is extremely poor, with a spectral gap that converges to zero at a rate proportional to the square root of sample size or faster. This theoretical result is verified with empirical performance in simulations and an application to a computational advertising data set. In contrast, algorithms that bypass data augmentation show rapid mixing on the same dataset.

연구 동기 및 목표

• 대규모 표본, 비균형 다항분포 데이터 설정에서 데이터 증강 기반 게이블스 샘플링의 계산 효율성을 조사하기 위해.
• 이러한 데이터 영역에서 사후분포 계산의 열악한 혼합 성능의 근본 원인을 규명하기 위해.
• 실제 및 시뮬레이션 데이터에서 데이터 증강 기반 알고리즘과 비증강 대안 간의 혼합 행동을 비교하기 위해.
• 비균형 데이터에 대한 베이지안 계층모형에서 데이터 증강의 스케일링 한계에 대한 이론적 및 실증적 증거를 제공하기 위해.

제안 방법

• 대규모 표본, 비균형 다항분포 모델에서 데이터 증강 기반 게이블스 샘플러의 스펙트럴 갭에 대한 이론적 분석.
• 스펙트럴 갭의 수렴 속도 유도: 표본 크기 n이 증가함에 따라 √n 비율 또는 그 이상으로 감소함을 보여주는 분석.
• 통제된 비균형 데이터 설정 하에서의 시뮬레이션을 통한 실증적 검증.
• 극도로 비균형적인 클래스 분포를 보이는 실제 웹 광고 데이터셋에 방법 적용.
• 동일한 데이터에서 데이터 증강 기반 게이블스 샘플러와 비증강 MCMC 알고리즘 간의 혼합 성능 비교.

실험 결과

연구 질문

• RQ1 비균형 다항분포 데이터에서 표본 크기가 증가함에 따라 데이터 증강 기반 게이블스 샘플러의 혼합 시간은 어떻게 변화하는가?
• RQ2 이 영역에서 데이터 증강의 스펙트럴 갭 감소 속도는 이론적으로 얼마인가?
• RQ3 동일한 데이터셋에서 비증강 MCMC 알고리즘의 혼합 성능는 어떻게 비교되는가?
• RQ4 실제 대규모 비균형 데이터 응용 분야에서도 데이터 증강의 비효율성은 지속되는가?

주요 결과

• 데이터 증강 기반 게이블스 샘플러의 스펙트럴 갭은 표본 크기의 제곱근 비율 또는 그 이상으로 감소하여 극도로 열악한 혼합 성능를 나타낸다.
• 시뮬레이션 결과는 표본 크기가 증가함에 따라 혼합 시간이 크게 증가함을 확인하며, 이는 이론적 감소 속도와 일치한다.
• 극도로 비균형적인 클래스 분포를 보이는 실제 웹 광고 데이터셋에서, 데이터 증강 기반 게이블스 샘플러는 매우 느린 수렴을 보였다.
• 비증강 MCMC 알고리즘은 동일한 데이터셋에서 빠른 혼합 성능를 보이며, 이론적·실제적 모두에서 데이터 증강을 능가했다.