[논문 리뷰] Integrating Informativeness, Representativeness and Diversity in Pool-Based Sequential Active Learning for Regression

Ziang Liu, Dongrui Wu|arXiv (Cornell University)|2020. 03. 26.

Machine Learning and Algorithms참고 문헌 17인용 수 4

한 줄 요약

이 논문은 풀 기반 순차적 활성 학습을 위한 회귀(Regression, ALR)에 대해 세 가지 새로운 방법을 제안하며, 정보성, 대표성, 다양성을 분리하여 비지도 초기화와 지도 반복 단계로 분리함으로써 통합 최적화를 수행한다. 최고의 성능을 보인 방법인 RDiGSr는 릿지 회귀와 L2 정규화를 사용하여 12개의 다양한 데이터셋에서 평균 RMSE가 가장 낮고 상관계수도 가장 높게 기록하여 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

In many real-world machine learning applications, unlabeled samples are easy to obtain, but it is expensive and/or time-consuming to label them. Active learning is a common approach for reducing this data labeling effort. It optimally selects the best few samples to label, so that a better machine learning model can be trained from the same number of labeled samples. This paper considers active learning for regression (ALR) problems. Three essential criteria -- informativeness, representativeness, and diversity -- have been proposed for ALR. However, very few approaches in the literature have considered all three of them simultaneously. We propose three new ALR approaches, with different strategies for integrating the three criteria. Extensive experiments on 12 datasets in various domains demonstrated their effectiveness.

연구 동기 및 목표

• 실제 응용에서 레이블링 비용이 높은 회귀 데이터를 처리하기 위해, 레이블이 없는 데이터는 풍부한데도 레이블링이 비용이 많이 드는 상황을 해결하기 위해.
• 풀 기반 순차적 활성 학습을 위한 통합 프레임워크를 개발하여 정보성, 대표성, 다양성이라는 세 가지 핵심 기준을 동시에 최적화하기 위해.
• 정보성(EMCM 또는 QBC를 통한)과 대표성 및 다양성(즉, RD 및 iGS를 통한)을 원칙적으로 통합하여 모델 성능을 향상시키기 위해.
• 제안된 방법들을 다양한 회귀 데이터셋에서 평가하고, 기존 최신 기술 대비 성능 향상의 통계적 유의성을 입증하기 위해.

제안 방법

• 활성 학습을 두 단계로 분해: 비지도 초기화 단계(대표성과 다양성만 고려), 지도 반복 단계(모든 세 기준 포함).
• 대표성-다양성(RD) 접근법과 향상된 그리디 샘플링(iGS), 기대 모델 변화 최대화(EMCM)를 조합하여 세 가지 통합 전략(RD-iGS, RDiGS, RDiGSr)을 제안.
• 기본 회귀 모델로 릿지 회귀와 L2 정규화(r = 0.01, 0.001, 0.1)를 사용하며, 실험 전반에 걸쳐 하이퍼파rameter를 최적화.
• 반복 단계에서 그레디 샘플링 전략을 적용하여, 각 신규 샘플은 정보성(모델 분산), 대표성(로컬 밀도), 다양성(이미 선택된 샘플과의 거리)의 가중 조합 기반으로 선택.
• 랜덤 샘플링(RS)을 기준선으로 사용하여 RMSE와 CC 성능 지표를 데이터셋 간 정규화하고, 공정한 비교를 위해 정규화된 AUC를 계산.
• 유의수준 α = 0.05에서 이중표본 한쪽 꼬리 t-검정을 적용하여 제안된 방법과 기준선 방법 간 성능 차이의 통계적 유의성을 검증.

실험 결과

연구 질문

• RQ1 EMCM 또는 QBC를 통한 정보성과 RD를 통한 대표성 및 다양성을 통합하면, 기존 최신 기술보다 더 나은 회귀 모델 성능을 달성할 수 있는가?
• RQ2 활성 학습 과정을 비지도 초기화와 지도 반복 단계로 분리하면, 샘플 선택 품질 향상과 모델 일반화 능력 향상에 기여하는가?
• RQ3 RD와 iGS의 다양한 통합 전략이 회귀 과제에서 모델 정확도(RMSE)와 상관계수(CC) 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 릿지 회귀 정규화 계수(r = 0.001, 0.01, 0.1) 변화에 대해 강건한가?

주요 결과

• RDiGSr는 모든 12개 데이터셋에서 평균 RMSE가 가장 낮았으며, 랜덤 샘플링(RS) 대비 RMSE의 정규화된 AUC 평균 17.0% 향상되어 모든 다른 방법보다 뛰어났다.
• RDiGSr는 RS 대비 평균 7.0% 향상된 최고의 평균 CC를 기록했으며, t-검정에서 정규화된 AUC가 1.0000이었고, 이는 상관계수 성능 향상이 통계적으로 유의하다는 것을 의미한다.
• RDiGSr는 RD-EMCM 및 iGS와 비교해 RMSE에서 유의미한 향상(유의수준 p = 0.0000)과 CC에서의 유의미한 향상(유의수준 p = 0.0010)을 보였으며, 뛰어난 성능을 입증했다.
• r = 0.001 및 r = 0.1의 다양한 정규화 계수에서도 RDiGSr는 RMSE와 CC 측면에서 RD-EMCM 및 iGS를 일관되게 뛰어넘는 강건한 성능을 보였다.
• RDiGSr의 RMSE는 RDiGS보다 낮았고(p = 0.0690), CC는 유의미하게 더 높았으며(p = 0.0001), 반복 단계에서 iGSr를 iGS보다 더 효과적으로 사용한 점이 성능 향상에 기여함을 입증했다.
• 제안된 세 가지 방법(RDiGS, RDiGSr, RD-iGS)은 모두 최신 기술인 RD-EMCM 및 iGS와 비교해 우수하거나 유사한 성능을 보였으며, RDiGSr가 총합적으로 가장 효과적인 것으로 확인되었다.