[논문 리뷰] When are ensembles really effective?

Ryan Theisen, Hyunsuk Kim외 3명|arXiv (Cornell University)|2023. 05. 21.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 이종성 향상 비율(EIR)과 이질성-오차 비율(DER)을 도입하여 분류 성능 향상에 있어 앙상블이 언제 유의미하게 기여하는지 이론적·실험적으로 규명한다. 앙상블이 가장 효과적인 경우는 DER > 1일 때—즉, 오차율 대비 모델 간 이질성이 높을 때이며, 이는 심층 신경망과 같은 내삽 모델의 경우 비내삽 모델(예: 랜덤 포레스트)에 비해 훨씬 낮은 성능 향상을 보이는 것을 보여준다. 내삽 임계점 이후에도 비내삽 모델의 앙상블은 여전히 높은 효과를 유지한다.

ABSTRACT

Ensembling has a long history in statistical data analysis, with many impactful applications. However, in many modern machine learning settings, the benefits of ensembling are less ubiquitous and less obvious. We study, both theoretically and empirically, the fundamental question of when ensembling yields significant performance improvements in classification tasks. Theoretically, we prove new results relating the \emph{ensemble improvement rate} (a measure of how much ensembling decreases the error rate versus a single model, on a relative scale) to the \emph{disagreement-error ratio}. We show that ensembling improves performance significantly whenever the disagreement rate is large relative to the average error rate; and that, conversely, one classifier is often enough whenever the disagreement rate is low relative to the average error rate. On the way to proving these results, we derive, under a mild condition called \emph{competence}, improved upper and lower bounds on the average test error rate of the majority vote classifier. To complement this theory, we study ensembling empirically in a variety of settings, verifying the predictions made by our theory, and identifying practical scenarios where ensembling does and does not result in large performance improvements. Perhaps most notably, we demonstrate a distinct difference in behavior between interpolating models (popular in current practice) and non-interpolating models (such as tree-based methods, where ensembling is popular), demonstrating that ensembling helps considerably more in the latter case than in the former.

연구 동기 및 목표

• 현대 기계학습에서 앙상블이 비현저한 성능 향상을 제공하는 시기를 규명하기 위해.
• 분류 정확도 향상 또는 향상 실패 조건을 공식화하기 위해.
• 내삽(예: 심층 신경망)과 비내삽(예: 트리 기반) 모델 간 앙상블 효과를 실증적으로 비교하기 위해.
• 이종성 성능에 대한 이론적 보장을 위한 최소적이고 현실적인 조건으로 '능력 가정'을 도입하고 검증하기 위해.
• 실무자들이 앙상블 학습 및 배포에 투자할 시점을 안내하는 실용적 지침을 제공하기 위해.

제안 방법

• 앙상블에 의한 오차 감소 비율을 상대적 척도로 측정하는 앙상블 향상 비율(EIR)을 정의한다.
• 앙상블 효과성의 핵심 예측 변수로 이질성-오차 비율(DER)을 도입하며, 이는 평균 오차 대비 이질성 수준을 측정한다.
• 이상적인 경우를 제외하고 이론적 경계를 더 견고하게 하기 위해 '능력 가정'을 제안한다.
• 능력 가정 하에 EIR가 DER의 선형 함수로 상한 및 하한이 존재하며, DER > 1일 경우 EIR가 증가함을 증명한다.
• 심층 앙상블, 랜덤 특징 모델, 미세조정된 BERT를 포함한 다양한 작업에서 실증 검증을 수행하여 이론적 예측을 확인한다.
• 특히 내삽(학습 오차 0) 및 비내삽 모델 간의 앙상블 행동을 비교한다.

실험 결과

연구 질문

• RQ1 분류 작업에서 앙상블이 유의미한 성능 향상을 이끌어내는 조건은 무엇인가?
• RQ2 이질성-오차 비율(DER)은 앙상블 향상 정도를 어떻게 예측하는가?
• RQ3 왜 내삽 모델(예: 심층 신경망)은 비내삽 모델(예: 랜덤 포레스트)에 비해 앙상블에서 얻는 성능 향상이 제한적인가?
• RQ4 실제 기계학습 환경에서 능력 가정이 어느 정도 성립하는가?
• RQ5 EIR와 DER 간의 선형 관계는 다양한 모델 아키텍처 및 데이터셋에서 실증적으로 검증될 수 있는가?

주요 결과

• 이질성-오차 비율(DER)이 1을 초과할 경우, 오차율 대비 높은 이질성이 관찰되며, 이는 앙상블이 유의미한 성능 향상을 이끌어낸다.
• 능력 가정 하에 EIR는 DER의 상한 및 하한이 선형 함수로 제약을 받으며, 이는 앙상블 성과 향상 예측에 이론적 기반을 제공한다.
• 내삽 앙상블(예: 심층 신경망, 랜덤 특징 모델)은 일관되게 낮은 EIR를 보이며, 내삽 임계점 이후 성능 향상 비율이 급격히 감소한다.
• 랜덤 포레스트와 같은 비내삽 모델은 모델 용량이 증가함에 따라 높은 EIR와 DER를 유지하며, 둘 다 학습 오차가 0에 도달할 때까지 정체되는 경향이 있다.
• 실증 결과는 EIR가 다양한 설정에서 DER과 강하게 상관됨을 확인하며, 이론적 경계의 타당성을 검증한다.
• GLUE 작업에서 미세조정된 BERT 앙상블은 일관되게 낮은 DER(<1)와 낮은 EIR를 보이며, 이는 내삽 모델이 앙상블에서 거의 이득을 보지 못한다는 이론적 예측과 일치한다.