[논문 리뷰] The return of AdaBoost.MH: multi-class Hamming trees

Balázs Kégl|arXiv (Cornell University)|2013. 12. 20.

Machine Learning and Data Classification참고 문헌 20인용 수 88

한 줄 요약

이 논문은 AdaBoost.MH 프레임워크 내에서 다중 클래스 부스팅을 위한 새로운 방법인 해밍 트리(Hamming trees)를 소개한다. 이 방법은 문제를 K개의 일대다 이진 분류로 환원하지 않고 다중 클래스 엣지(edge)를 최적화하기 위해 벡터값 결정 트리를 훈련한다. 기본 학습기(base learners)를 입력에 독립적인 레이블 벡터와 레이블에 독립적인 스칼라 분류기로 분해함으로써, 효율적인 트리 구축이 가능해지고, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 서포트 벡터 기반 분류기(SVMs)와 AOSOLogitBoost를 맞추거나 초월하며, 다른 AdaBoost.MH 구현체보다도 뚜렷이 뛰어나다.

ABSTRACT

Within the framework of AdaBoost.MH, we propose to train vector-valued decision trees to optimize the multi-class edge without reducing the multi-class problem to $K$ binary one-against-all classifications. The key element of the method is a vector-valued decision stump, factorized into an input-independent vector of length $K$ and label-independent scalar classifier. At inner tree nodes, the label-dependent vector is discarded and the binary classifier can be used for partitioning the input space into two regions. The algorithm retains the conceptual elegance, power, and computational efficiency of binary AdaBoost. In experiments it is on par with support vector machines and with the best existing multi-class boosting algorithm AOSOLogitBoost, and it is significantly better than other known implementations of AdaBoost.MH.

연구 동기 및 목표

• 기존 AdaBoost.MH 구현체가 다중 클래스 문제를 K개의 일대다 이진 분류 작업으로 환원함으로써 성능에 악영향을 미치는 한계를 해결하기 위해.
• 이진 AdaBoost의 개념적 단순성과 계산 효율성을 유지하면서 다중 클래스 설정으로 확장할 수 있는 방법을 개발하기 위해.
• 결정 트리와 같은 복잡한 기본 학습기를 AdaBoost.MH에 사용할 수 있도록, 벡터값 기반 학습기 아키텍처를 인자화(factorized)하여 도입하기 위해.
• 해밍 트리가 문제 특화 수정 없이도 다중 클래스 분류 기준 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 입력에 독립적인 길이 K의 레이블 벡터와 레이블에 독립적인 스칼라 분류기를 조합한 인자화된 벡터값 기반 학습기를 도입한다.
• 각 내부 노드에서 레이블에 의존하는 벡터는 버리고, 오직 스칼라 분류기만을 사용하여 입력 공간을 두 영역으로 분할함으로써 트리 구축이 가능해진다.
• 기본 학습기를 결합 최적화하기 위해 결정 스탬프(decision stumps)를 스칼라 구성 요소로 사용함으로써, 이진 분할과 출력 코드를 함께 효율적으로 최적화할 수 있다.
• AdaBoost.MH 프레임워크 내에서 다중 클래스 엣지를 최대화함으로써, K개의 별도의 일대다 분류기의 필요성을 피한다.
• 다중 레이블 및 다중 작업 학습에 대한 내재된 유연성 덕분에 이 방법은 다차원 출력을 다룰 수 있다.
• 재현 가능성을 확보하기 위해 오픈소스 패키지(multiboost)를 사용하며, 비교된 모든 방법에 대해 공정한 초모수 튜닝을 보장한다.

실험 결과

연구 질문

• RQ1 문제를 K개의 일대다 이진 분류로 환원하지 않고도 결정 트기를 사용하는 다중 클래스 부스팅을 효과적으로 확장할 수 있는가?
• RQ2 벡터값 기반 학습기를 입력에 독립적인 레이블 벡터와 레이블에 독립적인 스칼라 분류기로 분해함으로써, 효율적이고 효과적인 다중 클래스 학습이 가능한가?
• RQ3 해밍 트리의 성능은 AOSOLogitBoost 및 SVM과 같은 최신 기술 수준의 다중 클래스 부스팅 알고리즘과 비교해 어떻게 되는가?
• RQ4 해밍 트리를 사용한 AdaBoost.MH는 표준 결정 트리나 일대다 접근 방식을 사용하는 다른 AdaBoost.MH 구현체보다 뛰어난 성능을 낼 수 있는가?
• RQ5 이 방법은 이미지 인식 및 순위 매기기 작업을 포함한 다양한 다중 클래스 문제에 대해 강건하고 일반화 가능한가?

주요 결과

• 픽셀 기반 스탬프와 50,000회 반복을 사용한 해밍 트리 기반 AdaBoost.MH는 MNIST 데이터셋에서 테스트 오차 1.25%를 기록하여 얕은 분류기 중 최고 수준에 속한다.
• 하르 필터(Haar filters)와 네 노드 트리, 10,000회 반복을 사용할 경우, MNIST에서 테스트 오차 0.85%를 기록하여 고전적인 컨볼루션 신경망과 유사한 성능을 달성한다.
• Kaggle Emotions 챌린지에서는 17위에 해당하는 57%의 테스트 오차를 기록하며, 많은 비딥러닝 기반 모델들을 능가했다.
• Yahoo! Learning-to-Rank 챌린지에서는 상위 10위 성능을 기록했으며, 우승 모델들과 유의미하게 다를 바 없었다.
• 실제로는 INTERSPEECH 챌린지에서 감정 하위 챌린지에서 우승하고, 소셜 신호 하위 챌린지에서 2위를 차지하여 실용적 효과를 입증했다.
• 경험적으로 해밍 트리는 다른 AdaBoost.MH 구현체(예: Zhu 등, 2009; Mukherjee 및 Schapire, 2013)를 능가하며, 다섯 개의 기준 데이터셋에서 AOSOLogitBoost 및 SVM과 비슷한 성능을 보였다.