[논문 리뷰] Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection

Mehmet Umut Şen, Hakan Erdoğan|arXiv (Cornell University)|2011. 06. 08.

Face and Expression Recognition참고 문헌 25인용 수 5

한 줄 요약

이 논문은 힌지 손실과 그룹 스파arsity를 사용하여 메타-러닝 기반 선형 분류기 조합을 최적화하는 최대 마진 스태킹과 희박성 정규화를 제안한다. 이는 정확도 향상과 분류기 수 감소를 동시에 달성하며, 특히 그룹 스파arsity(l1-l2)를 통한 성능 향상이 두드러지게 나타나, 8개의 데이터셋에서 다양한 및 비다양한 앙상블 모두에서 기존 표준 방법을 능가한다.

ABSTRACT

The main principle of stacked generalization (or Stacking) is using a second-level generalizer to combine the outputs of base classifiers in an ensemble. In this paper, we investigate different combination types under the stacking framework; namely weighted sum (WS), class-dependent weighted sum (CWS) and linear stacked generalization (LSG). For learning the weights, we propose using regularized empirical risk minimization with the hinge loss. In addition, we propose using group sparsity for regularization to facilitate classifier selection. We performed experiments using two different ensemble setups with differing diversities on 8 real-world datasets. Results show the power of regularized learning with the hinge loss function. Using sparse regularization, we are able to reduce the number of selected classifiers of the diverse ensemble without sacrificing accuracy. With the non-diverse ensembles, we even gain accuracy on average by using sparse regularization.

연구 동기 및 목표

• 정규화된 경험 리스크 최소화를 통해 메타-러닝 기반 가중치를 최적화하여 스태킹 일반화의 일반화 성능을 향상시키는 것.
• 추론 시간을 줄이기 위해 앙상블 시스템에서 최소이면서도 효과적인 기저 분류기의 하위집합을 선택하는 문제를 해결하는 것.
• 가중치 합(WS), 클래스 기반 가중치 합(CWS), 선형 스태킹 일반화(LSG)와 같은 다양한 선형 조합 유형이 앙상블 정확도와 내구성에 미치는 영향을 조사하는 것.
• l1 및 l1-l2(그룹 스파arsity) 정규화가 정확도를 손상시키지 않은 채 선택된 기저 분류기 수를 줄이는 데 효과적인지 평가하는 것.
• 스태킹 일반화에서 힌지 손실을 사용한 정규화 학습의 성능을 기존의 최소 제곱 추정과 비교하는 것.

제안 방법

• 최대 마진 기반 일반화를 향상시키기 위해 힌지 손실 함수를 사용하여 정규화된 경험 리스크 최소화 문제로 메타-러닝 기반 가중치 학습을 수식화한다.
• l1 및 l1-l2(그룹 스파arsity) 정규화를 적용하여 가중치 벡터의 희박성을 증진시켜, 관련이 없는 분류기의 가중치를 0으로 유도함으로써 자동으로 분류기 선택을 가능하게 한다.
• 내부 교차 검증을 사용하여 메타-러닝 기반 학습 데이터를 생성함으로써 오버피팅을 방지하며, 기저 분류기의 출력이 메타-러닝 기반 학습에 사용된 데이터와 겹치지 않도록 보장한다.
• 세 가지 선형 조합 전략을 비교한다: WS(균일 가중치), CWS(클래스별 특화 가중치), LSG(클래스 점수를 특징으로 사용하는 선형 메타-분류기).
• 두 단계의 앙상블 설정을 사용한다: 하나는 다양한 기저 분류기를 포함하고, 다른 하나는 비다양한 분류기를 포함하여 다양한 다양성 수준에서의 내구성 평가를 수행한다.
• 모든 클래스를 동시에 최적화할 수 있도록 다중 응답 학습 프레임워크를 사용하여 조합 과정에서 클래스 간 관계를 유지한다.

실험 결과

연구 질문

• RQ1 정규화된 경험 리스크 최소화에 힌지 손실을 사용할 경우, 최소 제곱 추정에 비해 선형 분류기 조합의 정확도가 향상되는가?
• RQ2 그룹 스파arsity(l1-l2 정규화)는 정확도를 유지하거나 향상시키면서도 선택된 기저 분류기 수를 효과적으로 줄일 수 있는가?
• RQ3 다양한 및 비다양한 앙상블에서 WS, CWS, LSG와 같은 다양한 조합 유형이 성능에 미치는 영향은 어떠한가?
• RQ4 희박성 정규화는 기저 분류기가 상관관계가 높을 수 있는 비다양한 앙상블 환경에서 더 나은 일반화 성능을 제공하는가?
• RQ5 정확도와 선택된 분류기의 희박성 측면에서 l1-l2 정규화는 l1 정규화보다 우월한가?

주요 결과

• 정규화와 함께 힌지 손실을 사용하면 최소 제곱 추정에 비해 정확도가 유의미하게 향상되며, 특히 l1-l2 정규화가 데이터셋 평균에서 가장 낮은 오차율을 기록한다.
• 다양한 앙상블에서는 l1-l2 정규화가 기저 분류기 수를 평균 8.4(_segment_) 및 3.0(Vowel)로 줄였고, l2 정규화의 154에 비해 정확도 손실가 최소화되었다.
• 비다양한 앙상블에서는 l1-l2 정규화가 평균 오차율 9.96%를 기록하여 l2의 10.06%보다 낮았으며, 특히 Vowel 및 Wine 데이터셋에서는 기준선보다 정확도가 향상되었다.
• CWS 및 LSG의 경우, l1-l2 정규화는 l1에 비해 훨씬 적은 수의 분류기를 선택했으며(예: Segment에서 2.6 대 13.6), 정확도는 유지하거나 향상시켰다.
• 비다양한 환경에서는 CWS에 l1-l2 정규화를 적용할 경우 정확도와 모델 복잡도 사이의 최적의 트레이드오���을 달성했으며, 평균 13.7개의 분류기만 선택되었다.
• l1-l2 정규화는 정확도와 희박성 측면에서 l1 정규화를 모두 능가했으며, 특히 Vowel 및 Wine 데이터셋에서 선택된 분류기 수를 각각 69.2에서 3.0으로, 65.0에서 21.9로 줄였다.