[논문 리뷰] Is margin all you need? An extensive empirical study of active learning on tabular data

Dara Bahri, Heinrich Jiang외 2명|arXiv (Cornell University)|2022. 10. 07.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 딥 뉴럴 네트워크를 사용하여 69개의 실세계 표형 데이터셋에서 15가지의 주요 학습 방법을 평가하며, 단순함에도 불구하고 다양한 데이터 제약 조건과 사전 훈련 설정에서 모든 최신 기술 대비 일관되게 우수하거나 그 이상의 성능을 보이는 마진 샘플링이 효과적임을 밝힌다. 주요 기여는 표형 주요 학습에서 마진 샘플링이 강인하고 하이퍼파라미터가 필요 없는 기준이 될 수 있음을 경험적으로 입증한 데 있다.

ABSTRACT

Given a labeled training set and a collection of unlabeled data, the goal of active learning (AL) is to identify the best unlabeled points to label. In this comprehensive study, we analyze the performance of a variety of AL algorithms on deep neural networks trained on 69 real-world tabular classification datasets from the OpenML-CC18 benchmark. We consider different data regimes and the effect of self-supervised model pre-training. Surprisingly, we find that the classical margin sampling technique matches or outperforms all others, including current state-of-art, in a wide range of experimental settings. To researchers, we hope to encourage rigorous benchmarking against margin, and to practitioners facing tabular data labeling constraints that hyper-parameter-free margin may often be all they need.

연구 동기 및 목표

• 다양한 훈련 제약 조건 하에서 실세계 표형 데이터셋에서 여러 주요 학습 방법의 성능을 철저히 평가하기 위해.
• 현대적이고 복잡한 주요 학습 방법이 실용적 환경에서 고전적인 마진 샘플링 기법보다 항상 뛰어나게 작동하는지 평가하기 위해.
• 모델 사전 훈련, 시드 세트 크기, 배치 크기의 영향이 주요 학습 성능에 미치는 영향을 조사하기 위해.
• 미래의 연구 및 표형 데이터 주요 학습 분야의 실무적 구현을 위한 종합적인 벤치마크를 제공하기 위해.
• 복잡한 주요 학습 방법이 단순한 불확실성 기반 전략보다 본질적으로 뛰어나다고 가정하는 것을 도전하기 위해.

제안 방법

• 연구는 OpenML-CC18 벤치마크에서 확보한 69개의 표형 데이터셋에서 15가지 주요 학습 방법(불확실성 기반, 다양성 기반, 불확실성+다양성 하이브리드)을 평가한다.
• 모델은 확률적 경사 하강법을 사용하여 딥 뉴럴 네트워크로 훈련되며, 고정된 배치 크기를 가진 반복적인 라운드 방식으로 주요 학습이 수행된다.
• 마진 샘플링은 최상위 두 소프트맥스 확률 간의 차이가 가장 작은 인스턴스를 선택하여 예측 불확실성이 가장 높은 경우를 나타낸다.
• 성능는 여러 수거 라운드에서 테스트 정확도로 측정되며, 통계적 유의성은 유의수준 p ≤ 0.1에서 쌍체 t-검정을 통해 평가된다.
• 분석에는 사전 훈련된 모델과 사전 훈련되지 않은 모델이 포함되며, 결과는 소규모, 중규모, 대규모 데이터 제약 조건에서 보고된다.
• 승리 매트릭스와 박스 플롯을 사용하여 상대적 성능를 비교하며, 랜덤 샘플링 대비 상대적 향상 정도는 각 데이터셋에서 시각화된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 사용할 때, 마진 샘플링이 실세계 표형 데이터셋에서 현대적 최신 기술 주요 학습 방법보다 뛰어나게 작동하는가?
• RQ2 다양한 데이터 제약 조건(소규모, 중규모, 대규모 시드 세트 및 배치 크기)이 주요 학습 방법의 상대적 성능에 미치는 영향은 무엇인가?
• RQ3 자기지도 사전 훈련이 마진 샘플링 대비 비마진 주요 학습 방법의 성능을 향상시키는가?
• RQ4 다양성 증진 또는 불확실성+다양성 방법이 실용적 환경에서 마진 샘플링보다 항상 뛰어나게 작동하는가?
• RQ5 복잡한 방법의 성능 우위가 광범위한 데이터셋과 설정에서 통계적으로 유의미한가?

주요 결과

• 모든 데이터 제약 조건과 사전 훈련 조건에서 마진 샘플링이 다른 모든 주요 학습 방법보다 테스트 정확도 측면에서 뛰어나다.
• 자기지도 사전 훈련을 사용하더라도 마진 샘플링을 뛰어넘는 방법은 통계적으로 의미 있는 방식으로 존재하지 않았다.
• 중규모 설정에서 마진 샘플링은 랜덤 샘플링 대비 평균 1~3%의 상대적 향상을 보였으며, 모든 수거 라운드에서 일관된 성과 향상이 관찰되었다.
• BALD 및 PowerBALD와 같은 방법들은 마진 샘플링에 비해 성능이 열 劣하였으며, PowerBALD의 성능는 노이즈 메커니즘이 랜덤 샘플링을 모방하기 때문일 가능성이 높다.
• 클러스터링 기반 방법들인 Cluster-Margin 및 TypiClust는 클러스터 크기가 매우 작을 때(1.25)를 제외하고는 랜덤 샘플링과 비슷하거나 열 劣한 성능을 보였다. 이 경우 성능는 마진 샘플링 수준에 가까워졌다.
• 소규모 설정(초기 레이블이 30개 뿐인 경우)에서도 마진 샘플링은 여전히 랜덤 샘플링 대비 일관된 성능 향상을 보였으며, 이는 낮은 데이터 제약 조건에서도 강인함을 시사한다.