[논문 리뷰] Multiple-criteria Based Active Learning with Fixed-size Determinantal Point Processes

Xueying Zhan, Qing Li외 1명|arXiv (Cornell University)|2021. 07. 04.

Machine Learning and Algorithms참고 문헌 41인용 수 5

한 줄 요약

이 논문은 고정 크기의 결정성 점 프로세스(k-DPP)를 사용하여 정보성, 대표성, 다양성을 통합하는 다기준 활성 학습 방법을 제안한다. 분류기 커미티를 활용해 샘플의 어려움을 평가하고, k-center 군집화를 통해 대표성을 확보하며, DPP 기반 배치 선택을 통해 다양한 데이터 유형과 불균형 상황에서도 뛰어나고 안정적인 성능을 달성하여 기존의 다기준 접근 방식을 능가한다.

ABSTRACT

Active learning aims to achieve greater accuracy with less training data by selecting the most useful data samples from which it learns. Single-criterion based methods (i.e., informativeness and representativeness based methods) are simple and efficient; however, they lack adaptability to different real-world scenarios. In this paper, we introduce a multiple-criteria based active learning algorithm, which incorporates three complementary criteria, i.e., informativeness, representativeness and diversity, to make appropriate selections in the active learning rounds under different data types. We consider the selection process as a Determinantal Point Process, which good balance among these criteria. We refine the query selection strategy by both selecting the hardest unlabeled data sample and biasing towards the classifiers that are more suitable for the current data distribution. In addition, we also consider the dependencies and relationships between these data points in data selection by means of centroidbased clustering approaches. Through evaluations on synthetic and real-world datasets, we show that our method performs significantly better and is more stable than other multiple-criteria based AL algorithms.

연구 동기 및 목표

• 다양한 데이터 분포와 실세계 상황에 적응하지 못하는 단일 기준 활성 학습 방법의 한계를 해결한다.
• 정보성, 대표성, 다양성이라는 상호보완적인 세 기준을 동시에 최적화하여 활성 학습 성능을 향상시킨다.
• 분류기 가중치 조정과 어려운 샘플 우선순위 부여를 통해 데이터 분포 변화에 동적으로 적응하는 강력한 쿼리 선택 전략을 개발한다.
• 특히 불균형 데이터 설정에서 k-center 군집화와 고정 크기의 DPP를 활용해 균형 잡히고 다양한 배치 선택을 보장한다.
• 다양한 레이블링 예산 하에서 합성 및 실세계 데이터셋에서 일관되고 뛰어난 성능과 안정성을 입증한다.

제안 방법

• 분류기의 가중치를 현재 데이터 분포와의 일치도에 따라 동적으로 조정함으로써 정보성의 수식을 구성한다.
• 커미티 내의 이견을 통해 샘플의 어려움을 정의하고, 공감대가 낮은 샘플일수록 높은 정보성 점수를 할당함으로써 높은 불확실성을 나타낸다.
• 기존에 선택된 점들로부터의 최소 거리를 최대화하고, 미선정 풀 전체를 커버할 수 있도록 k-center 군집화를 사용해 대표적인 데이터 포인트를 식별한다.
• 정보성, 대표성, 다양성의 세 기준을 고정 크기의 결정성 점 프로세스(k-DPP)에 통합하여 고품질, 다양성 있고 대표적인 배치의 동시 선택 가능성을 모델링한다.
• 선택 과정을 DPP로 모델링하며, 커널 행렬이 정보성 점수와 특성 벡터의 수직성 및 크기를 통해 기하학적 다양성을 표현하도록 구성한다.
• 증가하는 레이블링 예산에 따라 전체 성능을 평가하기 위해 AUBC(예산 곡선 아래 면적) 지표를 적용한다.

실험 결과

연구 질문

• RQ1 정보성, 대표성, 다양성이라는 다중 기준을 활성 학습에서 효과적으로 균형 잡는 방법은 무엇인가? 이는 모델 성능 향상과 안정성 향상에 어떻게 기여하는가?
• RQ2 분류기 커미티는 데이터 분포 변화에 얼마나 잘 동적으로 적응하여 정보성 추정의 정확도를 향상시킬 수 있는가?
• RQ3 k-center 군집화는 비균일하거나 군집된 데이터 분포에서 활성 학습의 대표성 향상에 얼마나 기여하는가?
• RQ4 제안된 k-DPP 기반 선택 전략은 배치 모드에서 고품질의 정보성 있는 샘플을 확보하면서도 다양성을 어떻게 유지하는가?
• RQ5 불균형 데이터 상황에서 이 방법은 어떻게 성능을 발휘하며, 선택 과정에서 클래스 분포의 기울기를 자동으로 보정할 수 있는가?

주요 결과

• 제안된 방법은 합성 및 실세계 데이터셋에서 기존의 다기준 활성 학습 기반 방법보다 유의미하게 뛰어나고 안정적인 성능을 달성한다.
• GCloud Unbalance 데이터셋에서, 다른 방법들과는 달리 이 방법은 약 1.5:1의 양성 대 음성 비율(PN ratio)을 유지하며, 클래스 불균형 문제를 효과적으로 다루고 있음을 보여준다.
• 모델은 분류기 가중치를 동적으로 조정하여 선형으로 분리 가능한 데이터에서는 선형 모델(LR, SVM-Linear)에 더 높은 전문성을 할당하고, 복잡한 데이터에서는 비선형 모델에 더 높은 전문성을 할당함으로써 적응 능력을 향상시킨다.
• 활동 학습 과정 전반에 걸쳐 대표성 점수는 항상 0.5 이상을 유지하며, 이는 방법이 대표성 있는 샘플을 우선시하고 있음을 나타내며, 다양성과 정보성 역시 잘 균형 잡혀 있음을 의미한다.
• k-DPP 구성은 품질과 다양성을 동시에 극대화하는 효율적인 배치 선택을 가능하게 하며, 높은 점수를 받은 샘플일수록 더 수직적인 특성 벡터와 더 큰 크기를 가진다.
• AUBC 평가 결과, 증가하는 레이블링 예산 조건 하에서 이 방법은 학습 효율성과 최종 모델 정확도 측면에서 기준 방법들을 일관되게 능가한다.