[논문 리뷰] Active Learning for Regression Using Greedy Sampling

Dongrui Wu, Chin‐Teng Lin외 1명|arXiv (Cornell University)|2018. 08. 08.

Machine Learning and Algorithms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 모델 재학습이 필요 없이 특성 공간과 출력 공간에서의 다양성을 기반으로 정보성 높은 샘플을 선택하는 두 가지 새로운 활성 학습 회귀(Active Learning for Regression, ALR) 방법—GSx(입력 공간에서의 탐욕적 샘플링) 및 iGS(입력 및 출력 공간에서의 탐욕적 샘플링)—을 제안한다. iGS는 12개의 UCI/StatLib 데이터셋과 15명의 EEG 기반 운전자 졸림도 추정 실험에서 기존 방법들인 QBC와 EMCM을 초월하여 RMSE와 CC에서 통계적으로 유의미한 향상을 이룩하였다.

ABSTRACT

Regression problems are pervasive in real-world applications. Generally a substantial amount of labeled samples are needed to build a regression model with good generalization ability. However, many times it is relatively easy to collect a large number of unlabeled samples, but time-consuming or expensive to label them. Active learning for regression (ALR) is a methodology to reduce the number of labeled samples, by selecting the most beneficial ones to label, instead of random selection. This paper proposes two new ALR approaches based on greedy sampling (GS). The first approach (GSy) selects new samples to increase the diversity in the output space, and the second (iGS) selects new samples to increase the diversity in both input and output spaces. Extensive experiments on 12 UCI and CMU StatLib datasets from various domains, and on 15 subjects on EEG-based driver drowsiness estimation, verified their effectiveness and robustness.

연구 동기 및 목표

• 활성 학습을 통해 레이블링 비용이 높은 회귀 문제의 해결을 위해 필요한 레이블 샘플 수를 줄이는 것.
• 기존 ALR 방법들이 모델 재학습에 의존하거나 샘플 다양성을 효과적으로 포착하지 못하는 한계를 극복하는 것.
• 계산 비용이 낮고 모델에 종속되지 않는 ALR 접근법을 개발하여 최소한의 레이블 데이터로 일반화 성능을 향상시키는 것.
• UCI/StatLib 데이터셋과 실제 응용 분야인 EEG 기반 운전자 졸림도 추정과 같은 다양한 회귀 과제에 제안된 방법을 평가하는 것.
• 입력 공간과 출력 공간의 다양성을 동시에 고려한 샘플 선택 전략이 회귀 정확도 향상에 기여하는지를 입증하는 것.

제안 방법

• 입력(특성) 공간에서의 다양성을 기반으로 탐욕적 샘플링을 수행하는 GSx를 제안한다. 이는 먼저 레이블이 지정되지 않은 샘플 풀의 중심점에 가장 가까운 첫 번째 샘플을 선택하고, 이후로는 이미 선택된 모든 샘플로부터 가장 거리가 먼 샘플을 반복적으로 선택한다.
• GSx를 확장하여 출력(목표 값) 공간에서의 다양성까지 고려한 GSy를 도입한다. 이는 레이블이 지정되지 않은 샘플의 예측 출력과 이미 선택된 샘플의 예측 출력 간의 거리를 기반으로 다양성을 측정한다.
• 입력 공간과 출력 공간의 다양성을 동시에 고려한 하이브리드 접근법인 iGS를 개발한다. 이는 특성 공간과 출력 공간의 분리 정도를 모두 고려한 복합 거리 측도를 계산하여 샘플을 선택한다.
• 다양성 측정에 유클리드 거리를 사용한다: GSx의 경우 $ d_n^x = \min_m ||\mathbf{x}_n - \mathbf{x}_m|| $; GSy의 경우 $ d_n^y = \min_m ||\hat{y}_n - \hat{y}_m|| $; iGS의 경우 두 가지 거리의 가중 조합을 사용한다.
• 모델 재학습 없이 반복적으로 샘플을 선택하는 순차적 풀 기반 활성 학습 프레임워크를 적용하여 계산 비용을 최소화한다.
• 기본 모델로 리지 회귀를 사용하고, RMSE와 상관계수(CC)를 성능 평가 지표로 삼는다.

실험 결과

연구 질문

• RQ1 입력 공간에서의 다양성 기반 탐욕적 샘플링(GSx)이 랜덤 또는 불확실성 기반 샘플링에 비해 회귀에 대한 활성 학습 성능을 향상시킬 수 있는가?
• RQ2 출력 공간의 다양성을 통합함으로써 입력 전용 다양성보다 더 나은 회귀 성능을 달성할 수 있는가?
• RQ3 입력 공간과 출력 공간의 다양성을 동시에 고려한 iGS가 다양한 회귀 과제에서 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 iGS 방법은 QBC, EMCM 등의 기존 ALR 기준선 대비 다양한 데이터셋에서 안정성과 일반화 능력 면에서 뛰어나게 작동하는가?
• RQ5 EEG 기반 운전자 졸림도 추정과 같은 실제 응용에서 고비용 레이블링 상황에서도 제안된 방법이 효과적인가?

주요 결과

• iGS는 EEG 기반 운전자 졸림도 추정 실험의 15명의 모든 참가자에서 RMSE와 CC 지표 모두에서 BL, QBC, EMCM, GSx, GSy를 모두 앞서는 평균 성능을 기록하였다.
• iGS는 모든 다른 방법들보다 RMSE에서 통계적으로 유의미한 향상을 보였으며(p < 0.001), GSx를 제외한 나머지 모든 방법보다 CC에서도 유의미한 향상을 보였다(p = 0.0394), 이는 iGS의 강건성과 우수성을 확인한다.
• GSx는 RMSE와 CC에서 QBC 및 EMCM보다 유의미하게 뛰어나며, 입력 공간의 다양성이 회귀에 대한 활성 학습에서 효과적임을 입증한다.
• GSy는 RMSE에서 QBC 및 EMCM보다 유의미한 향상을 보였고, GSx보다도 RMSE에서 유의미한 향상을 보였다(p = 0.0955), 이는 출력 공간의 다양성이 성능 향상에 기여함을 시사한다.
• 12개의 UCI 및 CMU StatLib 데이터셋에서 iGS는 일관되게 최상의 성능을 기록하였으며, GSy 및 GSx 역시 기준선 방법들을 능가하였다.
• 통계 분석 결과, 제안된 모든 ALR 방법이 기준선(BL) 대비 RMSE를 유의미하게 감소시키고 CC를 향상시켰으며, 이는 다양한 회귀 과제에서의 효과성을 입증한다.