[논문 리뷰] Probabilistic Active Learning for Active Class Selection

Daniel Kottke, Georg Krempl외 7명|arXiv (Cornell University)|2021. 08. 09.

Machine Learning and Algorithms참고 문헌 13인용 수 5

한 줄 요약

이 논문은 각 클래스의 성능 향상 기대치를 추정하기 위해 허구의 인스턴스를 생성함으로써 클래스 선택 문제를 활성 학습 문제로 변환하는 새로운 활성 클래스 선택 알고리즘인 PAL-ACS를 제안한다. 확률적 활성 학습에서 유도된 성능 향상 함수를 활용하여 PAL-ACS는 어려운 클래스에서 동적으로 샘플링을 우선순위화하며, 특히 클래스 복잡도의 격차가 존재하는 데이터셋에서 최신의 ACS 방법들보다 뛰어난 분류 정확도를 달성한다.

ABSTRACT

In machine learning, active class selection (ACS) algorithms aim to actively select a class and ask the oracle to provide an instance for that class to optimize a classifier's performance while minimizing the number of requests. In this paper, we propose a new algorithm (PAL-ACS) that transforms the ACS problem into an active learning task by introducing pseudo instances. These are used to estimate the usefulness of an upcoming instance for each class using the performance gain model from probabilistic active learning. Our experimental evaluation (on synthetic and real data) shows the advantages of our algorithm compared to state-of-the-art algorithms. It effectively prefers the sampling of difficult classes and thereby improves the classification performance.

연구 동기 및 목표

• 클래스 난이도가 다양하고 기존 방법들이 적응하지 못하는 활성 클래스 선택(ACS)에서의 비효율적 클래스 샘플링 문제를 해결한다.
• 기존 ACS 방법들이 어려운 클래스를 탐지하고 우선순위를 정하는 메커니즘이 부족하여 종종 최적의 성능을 내지 못하는 한계를 극복한다.
• 기대 성능 향상에 기반해 가장 정보가 많은 클래스를 동적으로 식별하고 샘플링하는 방법을 개발한다.
• 합성 인스턴스를 사용해 ACS를 허위 활성 학습 문제로 변환함으로써 최소한의 레이블링 노력으로도 효과적인 학습을 가능하게 한다.
• 모든 클래스가 동일하게 어려운 경우를 포함해 다양한 클래스 복잡도를 가진 데이터셋에서도 강건성을 확보한다.

제안 방법

• 각 클래스별로 허구의 인스턴스를 생성함으로써 활성 클래스 선택(ACS) 문제를 활성 학습 과제로 변환한다.
• 확률적 활성 학습에서 유도된 성능 향상 함수를 사용해 각 클래스의 새로운 인스턴스 확보 시 기대 효용을 추정한다.
• 기대 성능 향상이 가장 높은 클래스를 다음 레이블링 대상으로 선택한다.
• 레이블링 예산이 소진될 때까지 반복적으로 프로세스를 수행하며, 각 새로운 인스턴스 후에 분류기 업데이트를 수행한다.
• 가우시안 커널을 활용해 허구의 인스턴스를 생성함으로써 클래스별 불확실성과 난이도를 확률적으로 모델링한다.
• 성능 향상 모델을 통합해 각 클래스의 새로운 인스턴스 확보 시 분류기 정확도 향상 기대치를 정량화한다.

실험 결과

연구 질문

• RQ1 다른 클래스들로부터 인스턴스 확보의 효용을 추정함으로써, 확률적 활성 학습 프레임워크를 활성 클래스 선택 문제에 적응시킬 수 있는가?
• RQ2 PAL-ACS 방법은 분류 성능 및 샘플 효율성 측면에서 최신의 ACS 알고리즘과 비교해 어떻게 성능을 내는가?
• RQ3 PAL-ACS는 클래스 복잡도가 다양할 경우에도 어려운 클래스를 효과적으로 식별하고 우선순위를 정하는가?
• RQ4 모든 클래스가 동일하게 어려운 데이터셋에서 PAL-ACS는 어떻게 성능을 내며, 랜덤 샘플링과 비교해 동등하거나 슈퍼리어한가?
• RQ5 허위 인스턴스의 사용이 기준 방법들인 Inverse 및 Redistricting에 비해 정확도와 강건성 향상에 얼마나 기여하는가?

주요 결과

• 3Clusters 및 Spirals와 같이 비균일한 클래스 복잡도를 가진 데이터셋에서 PAL-ACS는 Inverse 및 Redistricting 방법보다 유의미하게 뛰어난 성능을 보였으며, 평균 오차는 각각 0.3617, 0.3731, 0.3840을 기록했다.
• Bars 데이터셋에서는 비정규 분포의 데이터 구조로 인해 초기 학습 단계에서 다소 열악한 성능을 보였지만, 최종적으로 강력한 결과로 수렴함으로써 데이터 분포에 민감함을 보였다.
• 3Clusters 및 Spirals 데이터셋에서 PAL-ACS는 어려운 클래스에 각각 41% 및 46%의 샘플을 할당했으며, Inverse 및 Redistricting는 더 약한 우선순위 정책을 보였다.
• 모든 클래스가 동일하게 어려운 Vehicle 데이터셋에서 PAL-ACS는 균일한 샘플링 분포(각 클래스당 25%)로 수렴했으며, 이는 랜덤 샘플링과 동등한 성능을 달성했고, Inverse 및 Redistricting를 능가했다.
• Vertebral 및 Yeast 데이터셋에서 PAL-ACS는 클래스 난이도를 정확히 식별해 더 어려운 클래스에 대한 일관된 샘플링 비율을 확보함으로써 성능 향상을 이끌어냈다.
• 클래스 난이도가 다양할 경우를 포함해 여러 학습 단계에서 다수의 시도에서 승리 비율이 가장 높게 기록되어, 강건성을 입증했다.