[논문 리뷰] The Convergence Rate of Majority Vote under Exchangeability

Miles E. Lopes|arXiv (Cornell University)|2013. 03. 04.

Bayesian Methods and Mixture Models참고 문헌 46인용 수 4

한 줄 요약

이 논문은 교환가능성 조건 하에서 이元 분류의 다수결 투표 수렴 속도를 규명하여, 오차율이 err* + c/t + o(1/t)의 형태로 그 한계값으로 수렴함을 보였다. 여기서 c는 모델의 성질에서 유도된 상수이다. 이 결과를 교환가능한 베르누이 시계열으로 일반화하여, 혼합 분포 F가 매끄럽다면, 기대 다수결 투표는 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t)로 수렴함을 증명하였다.

ABSTRACT

Majority vote plays a fundamental role in many applications of statistics, such as ensemble classifiers, crowdsourcing, and elections. When using majority vote as a prediction rule, it is of basic interest to ask How many votes are needed to obtain a reliable prediction? In the context of binary classification with Random Forests or Bagging, we give a precise answer: If err_t denotes the test error achieved by the majority vote of t \geq 1 classifiers, and err* denotes its nominal limiting value, then under basic regularity conditions, err_t = err* + c/t + o(1/t), where c is a constant given by a simple formula. More generally, we show that if V_1,V_2,... is an exchangeable Bernoulli sequence with mixture distribution F, and the majority vote is written as M_t=median(V_1,...,V_t), then 1-\E[M_t] = F(1/2)+ (F(1/2)/8)(1/t)+o(1/t) when F is sufficiently smooth.

연구 동기 및 목표

• 이원 분류에서 신뢰할 수 있는 다수결 투표 예측을 위해 필요한 분류기의 수를 결정하는 것.
• 교환가능성 조건 하에서 다수결 투표 오차가 그 한계값으로 수렴하는 속도를 분석하는 것.
• 독립 identical 분포 조건을 초월하여 혼합 분포를 가진 교환가능한 베르누이 시계열로 수렴 행동을 일반화하는 것.
• 분류기 수 t에 대한 기대 다수결 투표 성능의 명시적 점근 전개를 유도하는 것.
• 오차 수렴 속도가 정확히 1/t이며, 계산 가능한 상수를 갖는 조건을 확립하는 것.

제안 방법

• 분석은 다수결 투표를 교환가능한 이항 랜덤 변수 V_1, V_2, ..., V_t의 중앙값으로 모델링한다.
• 이 시계열은 공통 혼합 분포 F를 가지며, 분류기 간의 의존성을 允허한다.
• 기대 중앙값의 2차 수렴 전개를 사용하여, t가 증가함에 따라 𝔼[M_t]의 점근적 행동을 도출한다.
• 핵심 식은 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t)이며, F에 대한 매끄러움 조건 하에서 유도되었다.
• 이 방법은 혼합 분포 F가 점근 전개에 적합할 정도로 충분히 매끄럽다는 정규성 조건에 의존한다.
• 오차 전개 err_t = err* + c/t + o(1/t)에서 상수 c는 F와 그 도함수의 형태로 명시적으로 표현된다.

실험 결과

연구 질문

• RQ1 분류기 수가 증가함에 따라 다수결 분류기의 테스트 오차가 그 한계값으로 수렴하는 속도는 얼마나 빠른가?
• RQ2 교환가능한 분류기의 기대 다수결 투표 성능에 대한 정밀한 점근 전개는 무엇인가?
• RQ3 수렴 속도는 분류기 출력의 기본 혼합 분포 F에 따라 어떻게 달라지는가?
• RQ4 오차가 1/t로 감소하고 계산 가능한 상수를 갖는 조건은 무엇인가?
• RQ5 독립 identical 분포 조건을 초월하여, 교환가능한 시계열로 수렴 속도를 일반화할 수 있는가?

주요 결과

• 다수결 투표의 테스트 오차는 err_t = err* + c/t + o(1/t)의 형태로 그 한계값으로 수렴하며, 여기서 c는 모델의 구조에 따라 달라지는 상수이다.
• 매끄러운 혼합 분포 F를 가진 교환가능한 베르누이 시계열에 대해, 기대 다수결 투표는 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t)를 만족한다.
• 수렴 속도는 정확히 1/t이며, 두 번째 항은 명시적으로 (F(1/2)/8)(1/t)로 주어진다.
• 기본적인 정규성 조건, 특히 혼합 분포 F의 매끄러움 조건 하에서 이 결과는 성립한다.
• 오차 전개의 상수 c는 닫힌 형태로 도출되어 수렴 행동을 정밀하게 예측할 수 있다.
• 이 결과는 분류기 출력이 교환가능한 앙상블 방법, 예를 들어 랜덤 포레스트와 배깅에 직접 적용된다.