[논문 리뷰] Stochastic Learning on Imbalanced Data: Determinantal Point Processes for Mini-batch Diversification.

Cheng Zhang, Hedvig Kjellström외 1명|arXiv (Cornell University)|2017. 05. 01.

Markov Chains and Monte Carlo Methods인용 수 11

한 줄 요약

이 논문은 균형 잡힌 미니배치 SGD(BM-SGD)를 제안한다. 이는 확률적 경사 하강법에서의 데이터 재현을 줄이고 데이터 다양성을 향상시키기 위해 결정성 점 프로세스(DPPs)를 사용하는 비균일한 미니배치 샘플링 방법이다. 데이터 포인트 간의 유사도 측정을 활용함으로써 BM-SGD는 경사 하강의 분산을 낮추고 일반화 성능을 향상시켜, 표준 SGD와 계층 샘플링보다도 비지도 특징 다양성과 지도 분류 정확도에서 뛰어난 성능을 보인다.

ABSTRACT

We study a mini-batch diversification scheme for stochastic gradient descent (SGD). While classical SGD relies on uniformly sampling data points to form a mini-batch, we propose a non-uniform sampling scheme based on the Determinantal Point Process (DPP). The DPP relies on a similarity measure between data points and gives low probabilities to mini-batches which contain redundant data, and higher probabilities to mini-batches with more diverse data. This simultaneously balances the data and leads to stochastic gradients with lower variance. We term this approach Balanced Mini-batch SGD (BM-SGD). We show that regular SGD and stratified sampling emerge as special cases. Furthermore, BM-SGD can be considered a generalization of stratified sampling to cases where no discrete features exist to bin the data into groups. We show experimentally that our method results more interpretable and diverse features in unsupervised setups, and in better classification accuracies in supervised setups.

연구 동기 및 목표

• 불균형 데이터셋에서 확률적 경사 하강법(SGD) 동안 미니배치 샘플링에서 발생하는 데이터 재현 문제를 해결하기 위해.
• 비균일한 샘플링을 통해 미니배치의 다양성을 증진시켜 경사 하강의 분산을 줄이기 위해.
• 이산적인 그룹화 특성이 없는 상황으로까지 계층 샘플링을 일반화하기 위해.
• 지식 기반 학습에서의 특징 해석 가능성 향상과 지도 학습에서의 분류 정확도 향상 위해.

제안 방법

• 이 방법은 미니배치에 대한 확률 분포를 모델링하기 위해 결정성 점 프로세스(DPP)를 사용한다.
• DPP는 데이터 포인트 간의 학습된 또는 사전 정의된 유사도 측정 기반으로 재현성 높은 미니배치에는 낮은 확률, 다양성이 높은 미니배치에는 높은 확률을 할당한다.
• 샘플링 전략은 데이터 분포를 균형 있게 유지하고 확률적 경사 하강의 분산을 줄이기 위해 설계되어 있다.
• 이 방법은 고전적 SGD(균일 샘플링)와 계층 샘플링(이산적 그룹이 존재할 경우)을 특수한 경우로 일반화한다.
• 다양성을 장려하면서도 대표성을 유지하기 위해 DPP의 우도 함수를 최적화함으로써 이 방법을 구현한다.
• 이 프레임워크는 표준 딥러닝 파이프라인과 호환되며, 기존의 SGD 기반 학습 워크플로우에 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 DPP 기반 비균일 샘플링은 불균형 데이터에서 미니배치 SGD의 경사 하강 분산을 줄일 수 있는가?
• RQ2 BM-SGD는 고전적 SGD와 계층 샘플링에 비해 모델 정확도와 특징 다양성 측면에서 어떻게 비교되는가?
• RQ3 이산적 특성이 없을 경우 DPP 기반 샘플링이 계층 샘플링을 얼마나 잘 일반화할 수 있는가?
• RQ4 BM-SGD는 지도 기반 표현 학습에서 더 해석 가능하고 다양한 특징을 만들어내는가?
• RQ5 BM-SGD는 불균형 데이터가 있는 지도 학습 설정에서 분류 성능을 향상시킬 수 있는가?

주요 결과

• BM-SGD는 미니배치 내 재현성을 줄임으로써 고전적 SGD보다 낮은 경사 하강 분산을 달성한다.
• 비지도 학습 설정에서 특징 산포도와 다양성 측정 지표를 통해, 이 방법은 더 다양하고 해석 가능한 특징을 생성한다.
• BM-SGD는 특히 불균형 데이터셋에서 지도 학습 과제에서 분류 정확도를 향상시킨다.
• 이 접근법은 계층 샘플링을 일반화하며, 이산적 그룹화 특성이 없을 경우에도 동등하거나 더 우수한 성능을 보인다.
• 여러 기준 데이터셋에서 BM-SGD는 특징 다양성과 예측 성능 양 측면에서 표준 SGD와 계층 샘플링보다 뛰어난 성능을 보였다.