[논문 리뷰] Reinforced Data Sampling for Model Diversification

Hoang D. Nguyen, Xuan-Son Vu외 2명|arXiv (Cornell University)|2020. 06. 12.

Data Stream Mining Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 강화학습 기반 방법인 강화된 데이터 샘플링(RDS)을 제안한다. RDS는 다수의 기본 모델을 가치 함수로 활용하여 다양하고 잠재력이 높은 데이터 서브셋을 선택하는 샘플러를 훈련시킨다. RDS는 분류 및 회귀 과제 전반에서 모델의 다양성과 학습 성능을 향상시키며, 네 개의 실세계 데이터셋에서 랜덤, 계층적, 사전 설정된 분할과 같은 전통적 샘플링 방법보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

With the rising number of machine learning competitions, the world has witnessed an exciting race for the best algorithms. However, the involved data selection process may fundamentally suffer from evidence ambiguity and concept drift issues, thereby possibly leading to deleterious effects on the performance of various models. This paper proposes a new Reinforced Data Sampling (RDS) method to learn how to sample data adequately on the search for useful models and insights. We formulate the optimisation problem of model diversification $δ{-div}$ in data sampling to maximise learning potentials and optimum allocation by injecting model diversity. This work advocates the employment of diverse base learners as value functions such as neural networks, decision trees, or logistic regressions to reinforce the selection process of data subsets with multi-modal belief. We introduce different ensemble reward mechanisms, including soft voting and stochastic choice to approximate optimal sampling policy. The evaluation conducted on four datasets evidently highlights the benefits of using RDS method over traditional sampling approaches. Our experimental results suggest that the trainable sampling for model diversification is useful for competition organisers, researchers, or even starters to pursue full potentials of various machine learning tasks such as classification and regression. The source code is available at https://github.com/probeu/RDS.

연구 동기 및 목표

• 기계 학습 경쟁 및 실세계 과제에서 모델 일반화 능력을 떨어뜨리는 증거의 모호성과 개념 이동 문제를 해결하기 위해.
• 다양한 데이터 서브셋 선택을 통해 학습 잠재력을 극대화하는 모델 다양화(δ-div) 최적화 문제를 수립하기 위해.
• 다양한 기본 학습기(예: 신경망, 결정 트리, 로지스틱 회귀)를 가치 함수로 활용하여 데이터 선택을 이끄는 훈련 가능한 샘플링 프레임워크를 개발하기 위해.
• 강화학습에서 최적의 샘플링 정책을 근사하기 위해 새로운 앙상블 보상 메커니즘인 소프트 보팅과 확률적 선택을 도입하기 위해.
• 클래스 균형을 유지하면서 모델 다양성과 성능을 향상시키는 비율 기반, 분포 정규화된 샘플링을 가능하게 하기 위해.

제안 방법

• 다양한 기본 모델을 기반으로 학습 잠재력을 극대화하는 데이터 서브셋을 선택하는 데 초점을 맞춘 모델 다양화 문제 δ-div 를 강화학습 문제로 공식화한다.
• 장기 보상의 추정을 위해 다양한 기본 학습기(예: SVM, 정규화된 회귀, 신경망, 결정 트리)를 가치 함수로 활용한다.
• 소프트 보팅(앙상블 일관성용)과 확률적 선택(다양성 향상을 위한 불확실성 도입용)이라는 두 가지 새로운 보상 메커니즘을 도입한다.
• 정책 기반 강화학습을 사용하여 샘플러를 훈련시키며, 여러 학습 에피소드 동안 모델 성능과 다양성 지표에 기반한 보상 구조를 적용한다.
• 특히 불균형 데이터셋에서 중요한 분포 정규화를 적용하여 클래스 간 균형 잡힌 샘플링을 보장한다.
• 샘플러가 전체 데이터셋에서 훈련되고 기계 학습 파이프라인의 초도 단계에서 적용 가능한 엔드 투 엔드 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 강화학습을 효과적으로 활용하여 모델 다양성과 학습 잠재력을 향상시키는 데이터 샘플러를 훈련시킬 수 있는가?
• RQ2 소프트 보팅과 확률적 선택이라는 다양한 앙상블 보상 메커니즘이 훈련된 샘플러의 성능에 어떤 영향을 미치는가?
• RQ3 RDS는 랜덤, 계층적, 사전 설정된 분할과 같은 전통적 샘플링 방법보다 다양한 기계 학습 과제에서 모델 정확도와 다양성 측면에서 뛰어나게 성능을 냈는가?
• RQ4 불균형 데이터셋에서 RDS는 성능 향상을 이루는 동시에 클래스 균형을 어느 정도 유지하는가?
• RQ5 RDS 프레임워크는 텍스트, 시각, 표준 형식의 데이터 유형과 다양한 모델 아키텍처에 일반화 가능한가?

주요 결과

• 스토캐스틱 콜스 보상 메커니즘을 사용한 RDS는 마델론 데이터셋에서 모든 베이스라인(계층적, 사전 설정 분할 포함)을 압도적으로 앞서며, 로지스틱 회귀 성능에서 6.7% 향상(0.5997 vs. 0.5350)을 기록했다.
• 드러ッグ 리뷰 데이터셋에서 RDS STO는 최고의 베이스라인 대비 MLP 모델 성능에서 10.5% 향상(0.6354 vs. 0.5802)을 달성했다.
• RDS DET은 모든 데이터셋에서 일관된 성능 향상을 보였으며, MNIST에서 앙상블 정확도가 1.5% 향상(0.6057 vs. 0.5983)되었고, 칼라파 신용 스코링 데이터셋에서도 1.5% 향상(0.6096 vs. 0.5953)을 기록했다.
• 스토캐스틱 콜스 메커니즘이 더 빠른 수렴과 더 안정적인 학습 기울기를 보이며 최적화 역학에서 열등한 결정론적 방법보다 뛰어난 성능을 보였다.
• RDS는 계층적 샘플링 수준의 클래스 비율 균형을 유지하면서도 성능에서 크게 앞서며, 다양성과 균형을 함께 최적화할 수 있음을 시사했다.
• 제안된 방법은 이진 및 다중 클래스 분류 및 회귀 과제 전반에서 네 개의 벤치마크 데이터셋(Madelon, Drug Reviews, MNIST, Kalapa)에서 최신 기술 수준의 성능을 달성했다.