[논문 리뷰] Unsupervised Pool-Based Active Learning for Linear Regression

Ziang Liu, Dongrui Wu|arXiv (Cornell University)|2020. 01. 14.

Machine Learning and Algorithms참고 문헌 27인용 수 6

한 줄 요약

이 논문은 레이블이 없는 데이터에서 시작하여 정보성, 대표성, 다양성을 동시에 최적화하는 비지도 풀 기반 활성 학습 방법을 선형 회귀에 제안한다. 이 방법은 레이블이 전혀 필요 없이 가장 정보적인 초기 샘플을 선택할 수 있으며, 릿지 회귀, 라소, 선형 서포트 벡터 머신 회귀를 사용하여 14개의 실세계 데이터셋에서 최신 기술보다 뛰어난 성능을 보였다. 이는 극히 적은 수의 레이블 데이터로도 뛰어난 모델 성능을 달성함을 시사한다.

ABSTRACT

In many real-world machine learning applications, unlabeled data can be easily obtained, but it is very time-consuming and/or expensive to label them. So, it is desirable to be able to select the optimal samples to label, so that a good machine learning model can be trained from a minimum amount of labeled data. Active learning (AL) has been widely used for this purpose. However, most existing AL approaches are supervised: they train an initial model from a small amount of labeled samples, query new samples based on the model, and then update the model iteratively. Few of them have considered the completely unsupervised AL problem, i.e., starting from zero, how to optimally select the very first few samples to label, without knowing any label information at all. This problem is very challenging, as no label information can be utilized. This paper studies unsupervised pool-based AL for linear regression problems. We propose a novel AL approach that considers simultaneously the informativeness, representativeness, and diversity, three essential criteria in AL. Extensive experiments on 14 datasets from various application domains, using three different linear regression models (ridge regression, LASSO, and linear support vector regression), demonstrated the effectiveness of our proposed approach.

연구 동기 및 목표

• 레이블이 전혀 없는 초기 상태에서 첫 번째 몇 개의 레이블된 샘플을 선택하는 문제를 해결하기 위해, 비지도 풀 기반 활성 학습을 통한 선형 회귀의 과제를 다루는 것.
• 정보성, 대표성, 다양성이라는 세 가지 핵심 기준을 동시에 고려하여 최적의 초기 샘플 선택을 위한 방법을 개발하는 것.
• 다양한 실세계 데이터셋과 여러 선형 회귀 모델을 통해 제안된 방법의 유효성을 입증하는 것.

제안 방법

• 초기 샘플 선택 과정에서 정보성, 대표성, 다양성을 동시에 최적화하는 Informativeness-Representativeness-Diversity (IRD) 기준을 도입한다.
• 첫 $ M \leq d+1 $개의 샘플(여기서 $ d $ 는 특성 차원 수)에 대해, 예측 분산을 통해 측정된 정보성, 근접 이웃 밀도를 통한 대표성, 행렬식 기반 샘플링을 통한 다양성의 가중 조합을 사용한다.
• $ M > d+1 $ 인 경우, 전역적 커버리지 유지를 위해 재중복을 방지하는 다양성-대표성 간의 트레이드오프를 적용한 반복적 개선 과정을 적용한다.
• 각 단계에서 IRD 점수를 최대화하는 탐욕적 선택 전략을 사용하여 입력 공간의 균형 잡힌 탐색을 보장한다.
• 이 방법은 모델에 종속되지 않으며, 릿지 회귀, 라소, 선형 서포트 벡터 회귀 등 표준 선형 회귀 모델과 호환된다.
• 반복적 개선 단계의 수를 제어하는 파라미터 $ c_{\text{max}} $ 가 존재하며, 실험 결과 $ c_{\text{max}} = 5 $ 에서 최적 성능를 기록하였다.

실험 결과

연구 질문

• RQ1 초기 단계에서 레이블 데이터가 전혀 없는 상황에서 완전히 비지도 활성 학습 방법이 기존 기술보다 뛰어난 성능을 보일 수 있는가?
• RQ2 레이블 정보가 없는 상황에서 정보성, 대표성, 다양성의 병합 효과가 모델 성능에 미치는 영향은 어떠한가?
• RQ3 반복적 개선 과정이 초기 $ d+1 $개의 샘플을 초월하여 샘플 선택 성능을 향상시키는 데 효과적인가?
• RQ4 정규화 계수 및 $ c_{\text{max}} $ 와 같은 하이퍼파rameter에 대해 제안된 방법의 민감도는 어떠한가?
• RQ5 모든 세 가지 기준을 동시에 고려할 경우, 부분 집합만 고려하는 방법보다 더 강건하고 일반화 능력이 뛰어난 모델 성능을 달성하는가?

주요 결과

• 제안된 IRD 방법은 레이블이 전혀 없는 상황에서 모든 14개의 데이터셋에서 라이브러리 기반 방법(RD: 대표성과 다양성, ID: 정보성과 다양성) 및 최신 비지도 활성 학습 기법을 모두 압도하는 뛰어난 성능을 기록했다.
• IRD는 랜덤 샘플링(RS)보다 평균 RMSE와 평균 상관계수(CC) 측면에서 뛰어난 성능을 보였으며, 모든 회귀 모델에서 정규화된 AUC 향상률이 일관되게 90% 이상이었다.
• 반복적 개선 단계($ c_{\text{max}} > 0 $)는 성능 향상에 상당한 기여를 하였으며, 최적 결과는 $ c_{\text{max}} = 5 $ 에서 달성되어 추가 반복이 효과적으로 활용됨을 시사한다.
• IRD는 정규화 계수의 변화에 뛰어난 내구성을 보였다. 릿지 회귀 및 라소의 $ \lambda $ 값과 선형 SVR의 $ C $ 값이 변화하더라도 성능은 일관되게 뛰어났다.
• 제거 실험 결과, 정보성, 대표성, 다양성의 세 가지 기준을 동시에 고려하는 것이 핵심임을 입증하였으며, 어느 하나라도 생략된 변형보다 IRD가 뛰어난 성능을 보였다.
• 이 방법은 다양한 적용 분야에서 뛰어난 일반화 능력을 보였으며, 음성 감정 추정 및 오일 생산 예측과 같은 다양한 분야에서 일관된 성능 향상을 보였다.