[논문 리뷰] MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning.

Seonghyeon Hwang, Steven Euijong Whang|arXiv (Cornell University)|2021. 06. 07.

Machine Learning and Data Classification참고 문헌 28인용 수 5

한 줄 요약

MixRL은 몬테카를로 정책 강화 학습을 사용하여 각 샘플에 대해 최적의 혼합 전략을 학습하는 회귀를 위한 강화학습 기반 데이터 증강 프레임워크이다. 학습된 거리 임계값 내에서 근처의 훈련 예제들만 선택적으로 혼합함으로써 모델 성능을 향상시키며, 합성 및 실세계 회귀 데이터셋에서 최신 기준 기반 기법들을 능가한다.

ABSTRACT

Data augmentation is becoming essential for improving regression accuracy in critical applications including manufacturing and finance. Existing techniques for data augmentation largely focus on classification tasks and do not readily apply to regression tasks. In particular, the recent Mixup techniques for classification rely on the key assumption that linearity holds among training examples, which is reasonable if the label space is discrete, but has limitations when the label space is continuous as in regression. We show that mixing examples that either have a large data or label distance may have an increasingly-negative effect on model performance. Hence, we use the stricter assumption that linearity only holds within certain data or label distances for regression where the degree may vary by each example. We then propose MixRL, a data augmentation meta learning framework for regression that learns for each example how many nearest neighbors it should be mixed with for the best model performance using a small validation set. MixRL achieves these objectives using Monte Carlo policy gradient reinforcement learning. Our experiments conducted both on synthetic and real datasets show that MixRL significantly outperforms state-of-the-art data augmentation baselines. MixRL can also be integrated with other classification Mixup techniques for better results.

연구 동기 및 목표

• 기존의 데이터 증강 기법은 주로 분류 작업을 위해 설계되어 있으며 레이블 공간의 전역 선형성을 가정하기 때문에 연속적인 레이블을 가진 회귀 작업에 최적화되어 있지 않다는 한계를 해결한다.
• 회귀 작업에서 데이터 또는 레이블 거리가 큰 예제들을 혼합할 경우 모델 성능이 떨어지는 부정적 영향을 완화한다.
• 각 훈련 예제에 대해 검증 성능을 최대화하기 위해 몇 개의 이웃 예제들과 혼합할지를 학습하는 메타학습 프레임워크를 제안한다.
• 강화학습을 데이터 증강과 융합하여 각 예제에 맞는 동적 혼합 전략을 적응적으로 설정함으로써 회귀 작업에서의 일반화 성능을 향상시킨다.
• 기존의 분류 작업용 Mixup 기법들과의 호환성을 확보하여 하이브리드 환경에서 성능을 추가로 향상시킬 수 있도록 한다.

제안 방법

• 각 훈련 예제에 대해 혼합할 이웃 예제를 선택하는 문제를 순차적 의사결정 문제로 설정한다.
• 검증 손실을 보상 신호로 사용하여 몬테카를로 정책 강화 학습을 통해 혼합 전략을 최적화한다.
• 목표 예제의 입력 특징과 레이블, 그리고 후보 이웃 예제들과의 거리를 포함한 상태 표현을 정의한다.
• 스토케스틱 정책 네트워크를 적용하여 이웃 집합을 샘플링하며, 정책은 기대 검증 성능을 최대화하도록 훈련된다.
• 학습된 예제별 거리 임계값 이내의 이웃들만 혼합하도록 제한하여 국소 선형성을 유지하고 유해한 내삽을 방지한다.
• 기존의 Mixup 스타일 증강 기법과 통합하여 다중 작업 또는 전이 학습 환경에서 하이브리드 사용이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 강화학습을 사용하여 회귀 작업에 최적의 데이터 혼합 전략을 효과적으로 학습할 수 있는가?
• RQ2 학습된 데이터 및 레이블 거리 기반으로 근처 예제들만 혼합하는 제약 조건을 적용할 경우, 전역 혼합 대비 회귀 성능이 향상되는가?
• RQ3 회귀 데이터셋에서 일반화 능력과 안정성 측면에서 MixRL은 최신 기준 기반 기법들과 비교해 어떻게 성능을 내는가?
• RQ4 MixRL은 기존의 분류 작업용 Mixup 기법들과 융합하여 혼합 또는 전이 학습 환경에서 성능을 추가로 향상시킬 수 있는가?

주요 결과

• MixRL은 합성 및 실세계 회귀 데이터셋에서 모두 기존의 데이터 증강 기준 기법들을 뛰어넘으며, 회귀 정확도 향상이 일관되게 관찰된다.
• 표준 Mixup 접근 방식에서 먼 예제들을 혼합하는 것이 성능을 떨어뜨리는 것을 방지함으로써 더 나은 일반화 성능을 달성한다.
• 강화학습을 통해 학습된 예제별 혼합 임계값은 고정 또는 전역 거리 제약 조건보다 더 효과적이고 안정적인 데이터 증강을 가능하게 한다.
• MixRL은 기존의 분류 작업용 Mixup 기법들과 호환되며 성능을 향상시키므로, 다중 작업 학습 응용 분야로의 확장 가능성이 있다.
• 실험 결과 정책 강화 기반 접근 방식이 검증 성능 향상과 관련된 의미 있는 혼합 전략을 효과적으로 학습하는 것으로 나타났다.