[논문 리뷰] A Direct Approach to Multi-class Boosting and Extensions

Chunhua Shen, Sakrapee Paisitkriangkrai외 1명|arXiv (Cornell University)|2012. 10. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 3

한 줄 요약

이 논문은 다중 분류 성능을 이원 분류 하위 문제로 분해하지 않고도 다중 분류 문제를 직접적으로 최적화하는 완전 수정형 다중 분류 부스팅 프레임워크를 제안한다. 라그랑주 이중성과 컬럼 생성을 활용하여 모든 약한 학습기 가중치를 동시에 갱신하고, 혼합 노름 정규화를 통해 군집 스parserity를 달성함으로써, 장면 및 교통 표지 인식 벤치마크에서 더 적은 특징 수로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Boosting methods combine a set of moderately accurate weaklearners to form a highly accurate predictor. Despite the practical importance of multi-class boosting, it has received far less attention than its binary counterpart. In this work, we propose a fully-corrective multi-class boosting formulation which directly solves the multi-class problem without dividing it into multiple binary classification problems. In contrast, most previous multi-class boosting algorithms decompose a multi-boost problem into multiple binary boosting problems. By explicitly deriving the Lagrange dual of the primal optimization problem, we are able to construct a column generation-based fully-corrective approach to boosting which directly optimizes multi-class classification performance. The new approach not only updates all weak learners' coefficients at every iteration, but does so in a manner flexible enough to accommodate various loss functions and regularizations. For example, it enables us to introduce structural sparsity through mixed-norm regularization to promote group sparsity and feature sharing. Boosting with shared features is particularly beneficial in complex prediction problems where features can be expensive to compute. Our experiments on various data sets demonstrate that our direct multi-class boosting generalizes as well as, or better than, a range of competing multi-class boosting methods. The end result is a highly effective and compact ensemble classifier which can be trained in a distributed fashion.

연구 동기 및 목표

• 이원 부스팅에 비해 효과적인 다중 분류 부스팅 방법의 부족을 해결한다.
• 다중 분류 문제를 다중 이원 문제로 분해하는 것을 방지하는 직접적 공식화를 개발한다.
• 모든 약한 학습기 계수를 동시에 갱신하는 완전 수정형 최적화를 가능하게 한다.
• 혼합 노름 정규화를 통해 군집 스parserity를 도입하여 다중 클래스 간 특징 공유를 촉진한다.
• 복잡한 예측 작업을 위한 확장 가능하고 분산 최적화 우호적인 부스팅 프레임워크를 설계한다.

제안 방법

• 마진 기반 손실 함수를 사용하는 원시 볼록 최적화 문제로 다중 분류 부스팅을 공식화한다.
• 원시 문제의 라그랑주 이중 문제를 유도하여 컬럼 생성을 통한 효율적 최적화를 가능하게 한다.
• 컬럼 생성을 사용하여 반복적으로 약한 학습기를 추가하고, 완전 수정형으로 모든 계수를 동시에 갱신한다.
• ℓ1,2 등 임의의 혼합 노름 정규화를 지원함으로써 군집 스parserity와 특징 공유를 일반화한다.
• 구조적 스parserity를 통합하여 다수의 클래스 간 공통의 정보성 특징을 식별한다.
• 교차 방향 다중수단법(ADMM) 및 볼록 최적화 프레임워크와의 호환성을 고려해 분산 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이원 분해 없이 직접적으로 완전 수정형 다중 분류 부스팅 방법을 공식화할 수 있는가?
• RQ2 라그랑주 이중성이 다중 분류 부스팅에서 효율적이고 확장 가능한 최적화를 어떻게 가능하게 하는가?
• RQ3 혼합 노름 정규화는 다중 분류 환경에서 효과적으로 군집 스parserity와 특징 공유를 촉진할 수 있는가?
• RQ4 기존의 다중 분류 부스팅 알고리즘에 비해 제안된 방법이 더 우수한 일반화 성능과 더 컴act한 모델을 달성하는가?
• RQ5 대규모 학습 작업을 위해 이 방법을 효율적으로 병렬화하거나 분산 처리할 수 있는가?

주요 결과

• Scene 15 데이터셋에서 MultiBoost^group과 MultiBoost^group_fast는 경쟁하는 다중 분류 부스팅 방법들보다 모두 뛰어나며, 1,000개의 특징만으로 각각 77.8%와 79.2%의 정확도를 달성한다.
• 독일 교통 표지 인식 데이터셋에서 MultiBoost^group은 500개의 특징으로 95.62%의 정확도를 기록하여 6,308개의 특징을 사용한 선형 SVM(93.05%)를 뛰어넘는다.
• 비선형 SVM(81.47%)과 비교해 유사하거나 뛰어난 정확도를 달성하면서도 훨씬 적은 특징 수를 사용한다.
• MultiBoost^group은 MultiBoost^ℓ1보다 더 빠른 수렴 속도를 보이며, 최적화 효율성이 향상됨을 시사한다.
• MultiBoost^ℓ1에서는 과적합 현상이 관찰되었고, 이는 MultiBoost^group의 군집 스parserity 정규화가 일반화 성능을 향상시킨다는 것을 시사한다.
• 이 방법은 교통 표지의 공통된 형태와 같은 클래스 간 특징 공유를 가능하게 하여 더 컴act하고 효과적인 모델을 생성한다.