[논문 리뷰] On the Relationship between Data Efficiency and Error for Uncertainty Sampling

Stephen Mussmann, Percy Liang|arXiv (Cornell University)|2018. 06. 15.

Machine Learning and Algorithms참고 문헌 14인용 수 7

한 줄 요약

이 논문은 로지스틱 회귀에서의 불확실성 샘플링을 조사하고, 데이터 효율성과 최종 오차율 사이에 강력한 반비례 관계를 규명한다. 경험적으로 21개의 OpenML 데이터셋에서 데이터 효율성과 역오차 간에 높은 상관관계가 있음을 확인했으며(피어슨 상관계수 r=0.79), 이론적으로도 渐近적 데이터 효율성이 역최종 오차율에 상수배 수준으로 놓여 있음을 증명하여, 불확실성 샘플링이 낮은 오차율 데이터셋에서 가장 효과적임을 설명한다.

ABSTRACT

While active learning offers potential cost savings, the actual data efficiency---the reduction in amount of labeled data needed to obtain the same error rate---observed in practice is mixed. This paper poses a basic question: when is active learning actually helpful? We provide an answer for logistic regression with the popular active learning algorithm, uncertainty sampling. Empirically, on 21 datasets from OpenML, we find a strong inverse correlation between data efficiency and the error rate of the final classifier. Theoretically, we show that for a variant of uncertainty sampling, the asymptotic data efficiency is within a constant factor of the inverse error rate of the limiting classifier.

연구 동기 및 목표

• 불확실성 샘플링이 랜덤 샘플링 대비 유의미한 데이터 효율성 향상을 보이는 조건을 이해하는 것.
• 동일한 알고리즘을 사용함에도 불구하고 데이터셋 간에 활동 학습 성능이 크게 달라지는 이유를 탐구하는 것.
• 최적 분류기의 본질적 오차율과 데이터 효율성 간의 이론적 및 경험적 연결 고리를 확립하는 것.
• 기대 오차율에 기반해 실무자들이 불확실성 샘플링과 랜덤 샘플링을 언제 사용할지에 대한 실용적 지침을 제공하는 것.

제안 방법

• OpenML의 21개 이진 분류 데이터셋에서 불확실성 샘플링을 경험적으로 평가하여 데이터 효율성과 최종 분류기 오차를 측정한다.
• 데이터셋 간 데이터 효율성과 역오차율 간의 관계를 정량화하기 위해 피어슨 상관계수와 스피어만 순위 상관계수를 사용한다.
• 두 단계 변형된 불확실성 샘플링을 이론적으로 분석한다: 먼저 랜덤 샘플링을 통해 근사적인 분류기를 구축하고, 이후 결정 경계 근처에서 활동적 샘플링을 수행한다.
• 수집된 데이터의 피셔 정보를 기반으로 수동 및 능동적 샘플링 전략 간의 비교를 통해 渐近적 데이터 효율성의 하한을 유도한다.
• 결정 경계 부근과 전체 분포 간 공분산의 차이를 고려하기 위해 매개변수 $ s $ 를 도입한다.
• 데이터 효율성 $ DE(\epsilon) $ 가 $ \frac{s}{4\text{Err}} $ 이하로 놓여 있음을 증명하여, 최종 오차율에 대한 반비례 관계를 보여준다.

실험 결과

연구 질문

• RQ1 불확실성 샘플링이 랜덤 샘플링 대비 높은 데이터 효율성을 달성하는 조건은 무엇인가?
• RQ2 분류기의 최종 오차율과 불확실성 샘플링의 데이터 효율성 간에 정량적 관계가 존재하는가?
• RQ3 불확실성 샘플링이 이론적으로 최적임에도 불구하고 일부 데이터셋에서는 실패하거나 성능이 열등한 이유는 무엇인가?
• RQ4 분류기의 최종 오차율에 기반해 데이터 효율성에 대한 이론적 하한을 도출할 수 있는가?
• RQ5 결정 경계 근처의 데이터 분포가 불확실성 샘플링 성능에 어떤 영향을 미치는가?

주요 결과

• 21개의 OpenML 데이터셋에서 데이터 효율성과 역오차율 간에 피어슨 상관계수 0.79와 스피어만 순위 상관계수 0.67의 강력한 상관관계를 보였다.
• 이론적 분석을 통해 渐近적 데이터 효율성이 $ \frac{s}{4\text{Err}} $ 이하로 놓여 있음을 증명하여 최종 오차율에 대한 직접적인 반비례 관계를 확인했다.
• 추가적인 가정(분해 가능하고 대칭적인 데이터) 하에서 데이터 효율성은 $ \frac{1}{4\text{Err}} $ 와 $ \frac{1}{2\text{Err}} $ 사이로 놓여 있으며, 이는 반비례 관계를 추가로 확인한다.
• 결과는 불확실성 샘플링이 노이즈가 많은(고오차율) 데이터셋에서는 실패하고, 저오차율 데이터셋에서는 뛰어나다는 경험적 관찰을 설명한다.
• 딥 네URAL 네트워크 실험과도 일관되며, 1% 오차율 데이터셋에서는 6배의 데이터 효율성 향상을 보였고, 35% 오차율 데이터셋에서는 성능 향상이 없었다.
• 반비례 관계는 실무자들이 랜덤 샘플링의 오차율이 약 10% 이하일 때만 불확실성 샘플링으로 전환해야 한다는 점을 시사한다.