[논문 리뷰] Linear and Order Statistics Combiners for Pattern Classification

Kagan Tumer, Joydeep Ghosh|ArXiv.org|1999. 05. 20.

Neural Networks and Applications참고 문헌 67인용 수 137

한 줄 요약

이 논문은 선형 및 순서 통계 조합기의 분류 오차 감소 메커니즘을 분석하는 프레임워크를 제시한다. 결정 경계의 분산을 최소화함으로써 오차를 감소시킨다. 상관관계가 없는 N개의 분류기 평균화는 오차를 N 분의 1로 줄이며, 중앙값, 최대값 등의 순서 통계 조합기(예: 중앙값, 최대값)는 특히 개별 분류기 성능의 변동성이 클 경우 고분산 환경에서 뛰어난 성능 향상을 제공한다.

ABSTRACT

Several researchers have experimentally shown that substantial improvements can be obtained in difficult pattern recognition problems by combining or integrating the outputs of multiple classifiers. This chapter provides an analytical framework to quantify the improvements in classification results due to combining. The results apply to both linear combiners and order statistics combiners. We first show that to a first order approximation, the error rate obtained over and above the Bayes error rate, is directly proportional to the variance of the actual decision boundaries around the Bayes optimum boundary. Combining classifiers in output space reduces this variance, and hence reduces the "added" error. If N unbiased classifiers are combined by simple averaging, the added error rate can be reduced by a factor of N if the individual errors in approximating the decision boundaries are uncorrelated. Expressions are then derived for linear combiners which are biased or correlated, and the effect of output correlations on ensemble performance is quantified. For order statistics based non-linear combiners, we derive expressions that indicate how much the median, the maximum and in general the ith order statistic can improve classifier performance. The analysis presented here facilitates the understanding of the relationships among error rates, classifier boundary distributions, and combining in output space. Experimental results on several public domain data sets are provided to illustrate the benefits of combining and to support the analytical results.

연구 동기 및 목표

• 출력 공간에서의 분류기 조합을 통해 오차 감소를 정량화하는 분석적 프레임워크를 개발하는 것.
• 결정 경계 분산, 베이즈 오차, 앙상블 성능 간의 관계를 명확히 하는 것.
• 개별 분류기의 편향, 상관관계, 분산이 조합된 성능에 미치는 영향을 분석하는 것.
• 선형 조합기(평균, 가중 평균)와 비선형 순서 통계 조합기(중앙값, 최대값, i번째 순서 통계량)의 효과를 평가하는 것.
• 실제 패턴 인식 문제에 적용 가능한 최적의 분류기 조합 전략에 대한 실용적 통찰을 제공하는 것.

제안 방법

• 특정 분포를 가정하지 않고 결정 경계를 랜덤 변수로 모델링하여 오차 분산에 대한 일반적 분석이 가능하도록 한다.
• 추가 오차율이 결정 경계의 베이즈 최적값 주변 분산에 비례함을 보여주는 수식을 유도한다.
• 편향과 상관관계가 앙상블 오차에 미치는 영향을 정량화하여 선형 조합기를 분석하고, 상관관계가 없는 비편향 분류기의 경우 오차가 N 배 감소함을 보여준다.
• 가우시안 오차 모델을 사용하여 순서 통계 조합기의 성능 한계를 유도하고, 중앙값, 최대값, i번째 순서 통계량의 감소 요인을 계산한다.
• 다중 클래스 문제에서 두 클래스 근처의 사후 확률이 가장 높은 클래스에 국한하여 이중 클래스 근사 모델을 사용한다.
• 공개 데이터셋을 대상으로 실험을 수행하여 분석 결과의 타당성을 검증하고, 개별 분류기와의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 출력 공간에서 분류기를 조합하면 분류 오차가 어떻게 감소하며, 그 배경 메커니즘은 무엇인가?
• RQ2 개별 분류기가 상관관계가 없고 비편향일 경우 선형 조합기는 오차를 얼마나 줄일 수 있는가?
• RQ3 개별 분류기 간의 편향과 상관관계는 선형 조합기 성능에 어떤 영향을 미치는가?
• RQ4 중앙값이나 최대값 등의 순서 통계 조합기를 사용할 경우 성능 향상은 어느 정도 기대할 수 있는가?
• RQ5 개별 분류기 성능의 변동성이 클 경우, 순서 통계 조합기가 선형 평균화보다 우수한 성능를 보이는 상황는 어떤가?

주요 결과

• 상관관계가 없고 비편향인 N개의 분류기의 경우 단순 평균화로 추가 오차율을 N 분의 1로 줄일 수 있다.
• 선형 조합기는 분산 감소에 가장 효과적이다; 개별 분류기가 편향을 가진 경우 성능 향상이 제한적이다.
• 중앙값과 최대값 등의 순서 통계 조합기는 특히 개별 분류기 성능의 변동성이 클 경우 고분산 상황에서 뛰어난 강건성 향상을 제공한다.
• 순서 통계 조합기는 평균화와 유사한 성능를 달성하지만, 개별 분류기의 성능 변동성이 클 경우 더 효과적이다.
• 조합은 과적합을 보완할 수 있지만 심각한 과소적합은 보완하지 못하므로, 분산 감소 효과가 편향 감소 효과보다 더 강하다.
• 최적 성능을 얻는 데 필요한 분류기 수는 대규모 N에서 i.i.d. 가정의 붕괴로 인해 감소 수익이 줄어들면서 제한된다.