[논문 리뷰] Second Order PAC-Bayesian Bounds for the Weighted Majority Vote

Andrés R. Masegosa, Stephan Sloth Lorenzen외 2명|arXiv (Cornell University)|2020. 07. 01.

Machine Learning and Algorithms참고 문헌 31인용 수 10

한 줄 요약

이 논문은 다중 분류에서 기반 분류기 간 오류 상관관계를 고려한 가중 다수결 투표에 대한 이阶 PAC-Bayesian 경계를 제안한다. 이는 랜덤화된 분류기의 터널 손실을 둘러싸기 위해 이계 마르코프 부등식을 사용한다. 이 방법은 더 날카운 리스크 추정과 성능 저하 없이 향상된 가중치 설정을 가능하게 하며, 실무에서 일阶 경계보다 우월하다.

ABSTRACT

We present a novel analysis of the expected risk of weighted majority vote in multiclass classification. The analysis takes correlation of predictions by ensemble members into account and provides a bound that is amenable to efficient minimization, which yields improved weighting for the majority vote. We also provide a specialized version of our bound for binary classification, which allows to exploit additional unlabeled data for tighter risk estimation. In experiments, we apply the bound to improve weighting of trees in random forests and show that, in contrast to the commonly used first order bound, minimization of the new bound typically does not lead to degradation of the test error of the ensemble.

연구 동기 및 목표

• 일阶 PAC-Bayesian 경계의 한계를 해결하기 위해, 오류 상관관계를 忽시하고 최소화할 경우 성능 저하가 발생하는 가중 다수결 투표의 문제를 다룬다.
• 이계 모멘트 분석을 통해 오류 상관관계를 통합함으로써 가중 다수결 투표에 대한 더 날카운 리스크 경계를 개발한다.
• 최소화 가능한 경계를 제공하여 분류기 가중치를 효과적으로 최적화하고, 상위 성능 분류기에 과도하게 집중되는 것을 방지한다.
• 더 나아가, 비밀번호 데이터를 활용하여 리스크 추정을 향상시키기 위해 이진 분류에 대한 경계를 확장한다.
• 실증적으로, 새로운 경계를 최소화할 경우 테스트 오차가 유지되거나 향상됨을 입증하며, 일阶 경계와는 달리 성능 저하가 발생하지 않는다.

제안 방법

• 가중 다수결 투표의 기대 손실에 대한 이계 마르코프 부등식 경계를 유도하며, 이는 랜덤화된 분류기의 기대 터널 손실과 관련된다.
• 두 개의 독립적으로 추출된 분류기가 모두 오류를 범할 확률로 정의된 터널 손실을 사용하여 오류 상관관계를 캡처한다.
• PAC-Bayesian 분석을 적용하여 기대 터널 손실을 그 경험적 대응으로 경계함으로써 최소화를 가능하게 한다.
• 유도된 경계를 최소화하는 최적화 절차를 제안하여 최적의 분류기 가중치를 학습한다.
• 이진 분류에 특화된 경계의 버전을 제안하며, 이는 비밀번호 데이터를 활용하여 리스크 추정을 강화한다.
• 일계 경계보다 더 날카운 결과를 얻기 위해 이계 마르코프 부등식을 통해 체비셰프-카נטל리 부등식의 완화를 시행한다.

실험 결과

연구 질문

• RQ1 오류 상관관계를 고려한 이계 PAC-Bayesian 경계가 다중 분류에서 가중 다수결 투표의 리스크 추정을 향상시킬 수 있는가?
• RQ2 제안된 이계 경계를 최소화할 경우, 일계 경계를 최소화하는 것과 비교해 더 나은 일반화 성능을 달성하는가?
• RQ3 새로운 경계는 실세계 앙상블 방법(예: 랜덤 포레스트)에 효과적으로 적용되고 최소화 가능한가?
• RQ4 이진 분류 변형에서 비밀번호 데이터를 포함시킬 경우 경계의 날카움과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 일반적으로 일계 PAC-Bayesian 경계를 최소화할 경우 관찰되는 성능 저하를 피할 수 있는가?

주요 결과

• 일계 경계와는 달리, 제안된 이계 경계를 최소화하더라도 랜덤 포레스트에서 테스트 오차가 저하되지 않는다.
• 실증 평가 결과, 여러 UCI 데이터셋에서 이계 경계는 실무적으로 일계 경계보다 더 날카운 것으로 나타났다.
• 데이터셋 평균적으로 볼 때, 새로운 경계를 통해 최적화된 앙상블의 테스트 오차는 기준선과 유사하거나 더 낮게 유지되었으며, 성능 저하가 관찰되지 않았다.
• 이진 분류 전용 경계는 비밀번호 데이터를 활용하여 리스크 추정을 향상시키며, 경계의 날카움을 강화한다.
• 실험 결과, 터널 손실 기반 경계는 특히 분류기 간 오류 상관관계가 높은 경우 일반화 성능에서 일계 경계를 항상 뛰어넘었다.
• 이 방법은 상위 성능 분류기에 과도하게 집중되는 것을 방지하여 앙상블의 다양성을 유지하고 강건성을 향상시켰다.