[논문 리뷰] Determinantal Point Processes for Mini-Batch Diversification

Cheng Zhang, Hedvig Kjellström외 1명|arXiv (Cornell University)|2017. 05. 01.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 13

한 줄 요약

이 논문은 확률적 경사 하강법에서의 데이터 불균형 문제를 해결하기 위해 결정론적 미니배치 SGD(DM-SGD)를 제안한다. 이 방법은 데이터 포인트 간 유사도 커널을 활용해 비균일한 미니배치 샘플링을 수행하며, 결정론적 점 프로세스(DPP)를 사용해 다양성을 높이고 기울기 분산을 감소시킨다. 이로 인해 특히 불균형 데이터셋에서 수렴 속도와 분류 정확도가 향상된다.

ABSTRACT

We study a mini-batch diversification scheme for stochastic gradient descent (SGD). While classical SGD relies on uniformly sampling data points to form a mini-batch, we propose a non-uniform sampling scheme based on the Determinantal Point Process (DPP). The DPP relies on a similarity measure between data points and gives low probabilities to mini-batches which contain redundant data, and higher probabilities to mini-batches with more diverse data. This simultaneously balances the data and leads to stochastic gradients with lower variance. We term this approach Diversified Mini-Batch SGD (DM-SGD). We show that regular SGD and a biased version of stratified sampling emerge as special cases. Furthermore, DM-SGD generalizes stratified sampling to cases where no discrete features exist to bin the data into groups. We show experimentally that our method results more interpretable and diverse features in unsupervised setups, and in better classification accuracies in supervised setups.

연구 동기 및 목표

• 확률적 경사 하강법에서의 데이터 불균형 문제를 개선하기 위해 미니배치의 다양성을 높이기 위해.
• 데이터 유사도 기반 비균일 샘플링을 통해 확률적 기울기 분산을 감소시키기 위해.
• 이산 특성 또는 사전 정의된 군집이 없는 경우에도 계층 샘플링을 일반화하기 위해.
• 다양한 학습 작업에 재사용 가능한 사전 계산된 다각도 미니배치를 제공하기 위해.

제안 방법

• 반복적 중복 확률이 낮은 미니배치를 추출하기 위해 결정론적 점 프로세스(DPP)를 사용한다.
• 유사도 커널 $ L = FF^T $를 구성하며, 여기서 $ F = [(1-w)X_{fc1} \quad wH] $로, 딥 편향 특징과 클래스 레이블을 결합한다.
• 초파rameter $ w $를 통해 클래스 내 및 클래스 간 다양성을 균형 잡는 가중 선형 커널을 적용한다.
• DM-SGD가 기울기 분산을 감소시키는 조건을 유도하여 수렴 속도 향상을 보장한다.
• 특수한 경우로 $ w=0 $일 때는 i.i.d. 샘플링, $ w=1 $일 때는 편향된 계층 샘플링으로 일반화됨을 보여준다.
• 학습 목표와 무관하게 사전에 다각도적인 미니배치를 계산하여 다양한 모델 간 재사용이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 이산 군집이 필요 없이 DPP 기반 샘플링이 확률적 최적화에서 기울기 분산을 감소시킬 수 있는가?
• RQ2 표준 SGD 및 계층 샘플링과 비교해 DM-SGD는 수렴 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 미니배치의 다양성이 비지도 모델에서 특징의 해석 가능성에 얼마나 기여하는가?
• RQ4 DM-SGD는 연속적 또는 이산적이지 않은 데이터 구조로 계층 샘플링을 일반화할 수 있는가?
• RQ5 샘플링에 편향을 도입함에도 불구하고 DM-SGD는 수렴 보장을 유지하는가?

주요 결과

• DM-SGD는 특히 작은 미니배치 크기에서 랜덤 샘플링보다 더 빠른 수렴 속도와 높은 테스트 정확도를 달성한다.
• CIFAR-10에서 $ w=0.9 $ 및 $ w=0.7 $ 조건에서 DM-SGD는 기준 랜덤 샘플링보다 더 우수한 분류 성능을 보였다.
• 주제 모델링에서는 i.i.d. 샘플링 대비 DM-SGD가 더 해석 가능하고 구분력 있는 문서 특징을 생성했다.
• 균형 잡힌 MNIST 데이터셋에서도 DM-SGD는 분산 감소 덕분에 랜덤 샘플링을 초월했으며, 이는 그 강건성을 입증한다.
• $ w=1 $일 때 DM-SGD는 편향된 계층 샘플링으로 축소되며, 이는 이론적 일반화를 검증한다.
• 이 방법은 커널 파라미터 $ w $에 따라 i.i.d. 샘플링과 계층 샘플링을 특수한 경우로 일반화한다.