[논문 리뷰] Margin-Based Generalization Lower Bounds for Boosted Classifiers

Allan Grønlund, Lior Kamma외 3명|arXiv (Cornell University)|2019. 09. 27.

Face and Expression Recognition참고 문헌 16인용 수 7

한 줄 요약

이 논문은 부스팅 분류기의 첫 번째 마진 기반 일반화 하한을 확립하며, Gao와 Zhou(2013)가 제안한 널리 사용되는 k번째 마진 상한이 거의 타이트함을 입증한다. 일반화 오차가 상한보다 크게 향상될 수 없는 어려운 예시를 구성함으로써, 투표 기반 분류기의 마진 기반 일반화 이론에서 이론적 간극을 거의 해소한다.

ABSTRACT

Boosting is one of the most successful ideas in machine learning. The most well-accepted explanations for the low generalization error of boosting algorithms such as AdaBoost stem from margin theory. The study of margins in the context of boosting algorithms was initiated by Schapire, Freund, Bartlett and Lee (1998) and has inspired numerous boosting algorithms and generalization bounds. To date, the strongest known generalization (upper bound) is the $k$th margin bound of Gao and Zhou (2013). Despite the numerous generalization upper bounds that have been proved over the last two decades, nothing is known about the tightness of these bounds. In this paper, we give the first margin-based lower bounds on the generalization error of boosted classifiers. Our lower bounds nearly match the $k$th margin bound and thus almost settle the generalization performance of boosted classifiers in terms of margins.

연구 동기 및 목표

• 부스팅 분류기의 알려진 일반화 상한과 알려지지 않은 하한 사이의 이론적 간극을 좁히기 위해.
• 현재까지 알려진 가장 강력한 상한인 k번째 마진 상한이 거의 타이트한지 확인하기 위해.
• 마진 기반 일반화 오차가 알고리즘 설계와 무관하게 본질적으로 하한으로 제약을 받을 수 있는지 조사하기 위해.
• 마진 이외의 자연스러운 매개변수들이 부스팅에서 실용적 일반화를 더 잘 설명할 수 있는지 탐색하기 위해.

제안 방법

• 가장 나쁜 마진 행동을 시뮬레이션하기 위해 가중치가 부여된 가설 집합에 기반한 어려운 학습 인스턴스의 구성 방법을 제안한다.
• 제어된 마진을 가진 투표 분류기를 생성하기 위해 수정된 AdaBoost 스타일 알고리즘(알고리즘 1)을 사용한다.
• 가중치가 부여된 라데마처 변수의 합에 대한 라데마처 복잡도와 尾確率 추정을 적용하여 일반화 오차의 확률적 하한을 유도한다.
• 이중 접근법을 활용: 하나의 하한은 어떤 알고리즘이 투표 분류기를 생성할 경우에도 적용 가능하며, 다른 하나는 열악한 일반화 성능을 보이는 분류기가 존재함을 보여준다.
• 유한한 VC 차원을 가진 가설 집합과 제어된 마진 분포의 구조를 활용하여 날카운 하한을 도출한다.
• 집중 불등식과 로그 스케일링을 활용하여 마진 크기, 가설 집합의 복잡도, 일반화 오차 간의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 현재까지 알려진 가장 강력한 일반화 오차 상한인 k번째 마진 상한이 거의 타이트한가?
• RQ2 마진 기반 측정치를 사용해 부스팅 분류기의 일반화 오차를 본질적으로 하한으로 제약할 수 있는가?
• RQ3 훈련 데이터에서 큰 마진을 보이지만 일반화 성능이 열악한 투표 분류기가 존재하는가?
• RQ4 알고리즘 특화 분석을 통해 일반화 상한의 ln m 요소를 제거할 수 있는가?

주요 결과

• 논문은 Gao와 Zhou(2013)의 k번째 마진 상한과 거의 일치하는 마진 기반 일반화 하한을 확립하며, 상한이 거의 타이트함을 보여준다.
• 어떤 부스팅 알고리즘이 투표 분류기를 생성하든, 일반화 오차는 k번째 마진 θ에 대해 Ω(√(ln |H| ln m)/(kθ²m))의 비율로 하한이 존재한다.
• 더 강력한 하한은 일반화 오차가 적어도 Ω(√(ln |H| ln m)/(kθ²m))인 투표 분류기가 존재함을 보여주며, 이는 상한과 로그 인자 외에는 거의 일치한다.
• 이 하한들은 부스팅의 마진 기반 일반화에서 상한과 하한 사이의 이론적 간극을 거의 해소한다.
• 결과는 마진만으로는 k번째 마진 상한을 초월해 일반화 오차를 설명할 수 없음을 시사하며, 보다 완전한 이론을 위해 추가 매개변수가 필요할 수 있음을 시사한다.
• 두 번째 하한에서 ln m 요소는 알고리즘 특화 분석을 통해 제거될 수 없으며, 이는 마진 기반 이론의 본질적 한계를 시사한다.