[논문 리뷰] Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss

Stephen Mussmann, Percy Liang|arXiv (Cornell University)|2018. 12. 05.

Machine Learning and Algorithms인용 수 9

한 줄 요약

이 논문은 주어진 데이터에서 불확실성 샘플링(active learning에서)가 매끄러운 인구의 0-1 손실에 대한 조건화된 확률적 경사하강법(preconditioned stochastic gradient descent)과 동일하다는 것을 입증한다. 이는 더 적은 데이터를 사용하면서도 수동 학습보다 낮은 테스트 오차로 수렴할 수 있는 이유를 설명한다. 이 방법은 비볼록 0-1 손실을 암묵적으로 최적화하며, 정류점에 수렴하게 되는데, 이는 실무에서 성공과 실패를 모두 설명한다.

ABSTRACT

Uncertainty sampling, a popular active learning algorithm, is used to reduce the amount of data required to learn a classifier, but it has been observed in practice to converge to different parameters depending on the initialization and sometimes to even better parameters than standard training on all the data. In this work, we give a theoretical explanation of this phenomenon, showing that uncertainty sampling on a convex loss can be interpreted as performing a preconditioned stochastic gradient step on a smoothed version of the population zero-one loss that converges to the population zero-one loss. Furthermore, uncertainty sampling moves in a descent direction and converges to stationary points of the smoothed population zero-one loss. Experiments on synthetic and real datasets support this connection.

연구 동기 및 목표

• 더 적은 데이터로 수동 학습보다 낮은 일반화 오차를 달성하는 불확실성 샘플링의 경험적 성공을 설명하는 것.
• 스트리밍(active learning) 환경에서의 불확실성 샘플링 최적화 역학을 특성화하는 것.
• 전체 데이터 학습보다도 더 나은 솔루션으로 수렴할 수 있는 불확실성 샘플링의 이유를 명확히 하는 것, 비록 편향이 도입되더라도 말이다.
• 불확실성 샘플링과 비볼록 0-1 손실 최소화 사이의 공식적 연결 고리를 규명하는 것.

제안 방법

• 표본 수가 증가함에 따라 진짜 0-1 손실로 수렴하는 인구의 0-1 손실에 대한 매끄러운 근사값을 도입한다.
• 현재 데이터에서 볼록 대체 손실을 최소화하는 불확실성 샘플링이, 매끄러운 0-1 손실에 대한 조건화된 확률적 경사하강 단계를 수행한다는 것을 보여준다.
• 각 불확실성 샘플링 업데이트가 정류점이 아닐 경우, 매끄러운 0-1 손실의 내림쪽 방향으로 이동한다는 것을 증명한다.
• 약한 정규성 조건 하에서 불확실성 샘플링이 매끄러운 0-1 손실의 정류점으로 수렴한다는 것을 보여준다.
• 점들이 불확실성(즉, 결정 경계에 가장 가까운)에 기반하여 선택되고 반복적으로 추가되는 스트리밍(active learning) 설정을 사용한다.
• 합성 및 22개의 실제 데이터셋에서 이론적 주장의 타당성을 검증하여, 불확실성 샘플링 역학과 0-1 손실 최적화 사이의 일치를 보여준다.

실험 결과

연구 질문

• RQ1 왜 불확실성 샘플링은 때로 전체 데이터셋에 대한 수동 학습보다 낮은 테스트 오차를 달성하는가?
• RQ2 불확실성 샘플링이 암묵적으로 최소화하는 최적화 목표는 무엇인가?
• RQ3 활동적 샘플링이 도입하는 편향이 수렴과 일반화에 어떤 영향을 미치는가?
• RQ4 불확실성 샘플링은 조건화된 확률적 경사하강법의 한 형태로 해석될 수 있는가?
• RQ5 왜 불확실성 샘플링은 때로 실패하거나 나쁜 국소 최소값으로 수렴하는가?

주요 결과

• 불확실성 샘플링은 매끄러운 인구의 0-1 손실에 대한 조건화된 확률적 경사하강법과 수학적으로 동일하다.
• 각 불확실성 샘플링 업데이트는 정류점에 가까이 있지 않은 한, 매끄러운 0-1 손실의 내림쪽 방향으로 이동한다.
• 이 방법은 매끄러운 0-1 손실의 정류점으로 수렴하여, 낮은 오차 솔루션을 찾는 경향을 설명한다.
• 불확실성 샘플링의 성공은 비볼록 0-1 손실의 암묵적 최적화 덕분이며, 이는 볼록 대체 손실을 최소화하는 것보다 더 나은 일반화를 이끌 수 있다.
• 불량한 초기화, 특히 작은 시드 세트를 사용할 경우, 0-1 손실의 나쁜 국소 최소값으로 수렴할 수 있어 성능 저하가 발생한다.
• 합성 및 실제 데이터셋에서의 실험 결과는 불확실성 샘플링과 0-1 손실 최소화 사이의 이론적 연결 고리를 확인한다.