[논문 리뷰] Active Learning for Skewed Data Sets

Abbas Kazerouni, Qi Zhao외 3명|arXiv (Cornell University)|2020. 05. 23.

Machine Learning and Algorithms참고 문헌 49인용 수 7

한 줄 요약

이 논문은 극도로 불균형한 데이터셋에서 최소한의 초기 학습 데이터로 성능을 향상시키기 위해 레이블되지 않은 데이터 탐색과 기존 레이블된 데이터 활용을 균형 있게 조절하는 새로운 활동 학습 알고리즘인 하이브리드 활동 학습(HAL)을 제안한다. HAL은 마진 기반 선택과 랜덤 또는 가우시안 샘플링과 같은 간단한 탐색 기법을 결합함으로써 초기 단계에서 마진 샘플링보다 뛰어난 성능을 보이며, 동일한 레이블링 예산 내에서 정밀도-재현율 AUC를 향상시킨다.

ABSTRACT

Consider a sequential active learning problem where, at each round, an agent selects a batch of unlabeled data points, queries their labels and updates a binary classifier. While there exists a rich body of work on active learning in this general form, in this paper, we focus on problems with two distinguishing characteristics: severe class imbalance (skew) and small amounts of initial training data. Both of these problems occur with surprising frequency in many web applications. For instance, detecting offensive or sensitive content in online communities (pornography, violence, and hate-speech) is receiving enormous attention from industry as well as research communities. Such problems have both the characteristics we describe -- a vast majority of content is not offensive, so the number of positive examples for such content is orders of magnitude smaller than the negative examples. Furthermore, there is usually only a small amount of initial training data available when building machine-learned models to solve such problems. To address both these issues, we propose a hybrid active learning algorithm (HAL) that balances exploiting the knowledge available through the currently labeled training examples with exploring the large amount of unlabeled data available. Through simulation results, we show that HAL makes significantly better choices for what points to label when compared to strong baselines like margin-sampling. Classifiers trained on the examples selected for labeling by HAL easily out-perform the baselines on target metrics (like area under the precision-recall curve) given the same budget for labeling examples. We believe HAL offers a simple, intuitive, and computationally tractable way to structure active learning for a wide range of machine learning applications.

연구 동기 및 목표

• 웹 애플리케이션(예: 혐오 발언 또는 스팸 탐지)에서 흔히 발생하는 극도로 불균형한 데이터셋에서 매우 제한된 초기 레이블된 데이터로 효과적인 이진 분류기 학습 문제를 해결하기 위해.
• 기존 방법(예: 마진 샘플링)이 편향과 국소 수렴으로 인해 실패하는 상황에서 활동 학습 성능을 향상시키기 위해.
• 탐색과 활용 구성 요소를 통합한 모듈러한 활동 학습 프레임워크를 설계하여 더 나은 데이터 선택을 가능하게 하기 위해.
• 간단한 탐색 기법(예: 랜덤, 가우시안)이 불균형 데이터 설정에서 마진 기반 활동 학습을 어떻게 향상시키는지 평가하기 위해.
• 실제 운영 환경에 적용할 때 레이블된 데이터가 극도로 부족한 상황에서 효과적인 검증 세트 구성 및 탐색 전략 설계의 과제를 규명하기 위해.

제안 방법

• HAL은 마진 샘플링(활용)과 일반적인 탐색 기법을 결합하여 레이블되지 않은 데이터 포인트를 선택한다.
• 탐색 구성 요소는 기존 레이블된 포인트로부터의 거리 기반으로 포인트를 선택하며, 기존 레이블된 포인트에서 멀리 떨어진 포인트를 선호함으로써 다양성과 미탐색 영역의 커버리지 향상을 도모한다.
• 하이퍼파라미터 $ p $를 사용하여 마진 샘플링과 탐색의 기여도를 균형 조절하는 하이브리드 선택 규칙을 적용한다.
• 알고리즘은 배치 단위로 작동하며, 반복적으로 포인트를 레이블링하고 분류기를 재학습하며 선택 전략을 업데이트한다.
• 탐색 기법은 특징 공간에서 레이블의 연속성(스무쓰니스)을 가정하며, 레이블된 예제에 가까운 정도에 따라 유용성을 추정한다.
• 알고리즘은 계산적으로 효율적이며 모듈러하므로, 핵심 마진 기반 활용 전략을 변경하지 않고도 다양한 탐색 전략을 통합할 수 있다.

실험 결과

연구 질문

• RQ1 심각한 클래스 불균형과 극도로 제한된 초기 레이블된 데이터가 존재하는 상황에서 활동 학습은 어떻게 향상시킬 수 있는가?
• RQ2 탐색과 마진 기반 활용을 조합하면 순수 마진 샘플링보다 더 나은 성능을 낼 수 있는가?
• RQ3 불균형 데이터 설정에서 간단한 탐색 기법(예: 랜덤, 가우시안)은 순수 마진 샘플링에 비해 어떻게 비교되는가?
• RQ4 탐색과 활용의 균형을 조절하는 하이퍼파라미터 $ p $ 는 성능에 어떤 영향을 미치는가?
• RQ5 레이블된 데이터가 극도로 부족한 상황에서 효과적인 검증 세트를 구성하는 데 있어 도전 과제와 전략은 무엇인가?

주요 결과

• HAL은 마진 샘플링에 비해 정밀도-재현율 AUC에서 뚜렷한 성능 향상을 보이며, 특히 학습 데이터가 부족한 초기 레이블링 라운드에서 두드러진다.
• 간단한 탐색 기법(예: 랜덤 또는 가우시안 샘플링)을 사용하더라도 HAL은 순수 마진 샘플링보다 더 높은 성능을 달성한다.
• 탐색과 활용의 균형을 조절하는 하이퍼파라미터 $ p $ 의 선택은 성능에 상당한 영향을 미치며, 최적의 값은 경험적으로 조정되어야 한다.
• 알고리즘의 성능은 MNIST와 같은 실제 데이터셋뿐 아니라 합성 불균형 데이터셋에서도 뛰어난 안정성을 보이며, 전반적으로 강건하다.
• 탐색 구성 요소는 마진 샘플링이 불확실성 영역의 국소 지역에 갇히는 것을 방지하여 전체 커버리지와 일반화 능력을 향상시킨다.
• 연구에서는 레이블된 데이터가 극도로 부족한 불균형 데이터 설정에서 비용 효율적인 검증 세트를 구성하는 것이 중요한 열린 문제이며, 향후 연구가 필요로 한다고 규명했다.