[논문 리뷰] Getting Better from Worse: Augmented Bagging and a Cautionary Tale of Variable Importance

Lucas Mentch, Siyu Zhou|arXiv (Cornell University)|2020. 03. 07.

Gaussian Processes and Bayesian Inference참고 문헌 51인용 수 16

한 줄 요약

이 논문은 조건부 독립적인 노이즈 특징을 원래 특징 공간에 추가함으로써 예측 정확도를 향상시키는 새로운 백킹(variant)인 AugBagg를 소개한다. 놀랍게도 이 간단한 보정은 최적화된 랜덤 포레스트보다 종종 성능이 뛰어나며, 변수 중요도에 대한 전통적인 통념을 도전하고, 노이즈 특징이 모델 성능 향상에 기여할 수 있음을 드러내어 예측 성능 향상 기반의 표준 중요도 메트릭스의 타당성을 뒤집는다.

ABSTRACT

As the size, complexity, and availability of data continues to grow, scientists are increasingly relying upon black-box learning algorithms that can often provide accurate predictions with minimal a priori model specifications. Tools like random forests have an established track record of off-the-shelf success and even offer various strategies for analyzing the underlying relationships among variables. Here, motivated by recent insights into random forest behavior, we introduce the simple idea of augmented bagging (AugBagg), a procedure that operates in an identical fashion to classical bagging and random forests, but which operates on a larger, augmented space containing additional randomly generated noise features. Surprisingly, we demonstrate that this simple act of including extra noise variables in the model can lead to dramatic improvements in out-of-sample predictive accuracy, sometimes outperforming even an optimally tuned traditional random forest. As a result, intuitive notions of variable importance based on improved model accuracy may be deeply flawed, as even purely random noise can routinely register as statistically significant. Numerous demonstrations on both real and synthetic data are provided along with a proposed solution.

연구 동기 및 목표

• 훈련 데이터에 노이즈 특징을 추가함으로써 백킹 및 랜덤 포레스트 모델의 예측 성능을 향상시킬 수 있는지 조사하는 것.
• 특히 노이즈 특징이 중요하게 나타날 경우, 예측 성능 향상 기반의 변수 중요도 측정 방식의 타당성을 도전하는 것.
• 의도적인 특징 공간 보정을 통해 모델 정확도를 향상시키는 새로운 정규화 기반 방법 AugBagg를 제안하는 것.
• 예측 모델링 맥락에서 신호만 포함된 특징이 최적일 것이라는 전통적 가정이 잘못되었을 수 있음을 보여주는 것.

제안 방법

• AugBagg는 모델 피팅 전에 원래 특징 공간에 독립적인 노이즈 특징 세트를 추가함으로써 고전적 백킹을 확장한다.
• 노이즈 특징은 반응 변수와 조건부 독립적이며, 진정한 예측 신호를 지니지 않는다.
• 이 방법은 표준 부트스트랩 리샘플링과 앙상블 평균화를 사용하며, 백킹과 랜덤 포레스트와 동일한 방식이지만, 확장된 특징 세트에서 작동한다.
• 성능 평가는 다양한 실제 및 시뮬레이션 데이터셋(다양한 신호 대 노이즈 비율을 가짐)에서의 검증 데이터 기반 예측 정확도를 통해 평가된다.
• 변수 중요도는 특별한 특징을 포함하거나 제거한 모델을 비교하는 퍼미ュ테이션 기반 방법으로 평가된다.
• 상대적 성능 평가를 위해 최적의 초모수 조정을 거친 표준 랜덤 포레스트와의 비교가 수행된다.

실험 결과

연구 질문

• RQ1 조건부 독립적인 노이즈 특징을 추가함으로써 백킹 및 랜덤 포레스트 모델의 검증 데이터 기반 예측 정확도를 유의미하게 향상시킬 수 있는가?
• RQ2 노이즈 특징이 표준 변수 중요도 측정 방식에서 얼마나 중요한 것으로 나타나며, 이는 이러한 메트릭스의 신뢰성에 어떤 영향을 미치는가?
• RQ3 노이즈 보정에 기인한 성능 향상은 원천 데이터의 신호 대 노이즈 비율에 따라 어떻게 달라지는가?
• RQ4 다양한 데이터셋에서 최적화된 랜덤 포레스트와 비교했을 때 AugBagg의 예측 정확도는 어떠한가?
• RQ5 관찰된 성능 향상은 암묵적 정규화의 결과로 기인하는가? 만약 그렇다면, 릿지 회귀와 같은 명시적 정규화 기법과 비교해보면 어떠한가?

주요 결과

• AugBagg는 다양한 데이터셋에서 일관되게 검증 데이터 기반 예측 정확도를 향상시키며, 때로는 최적화된 랜덤 포레스트를 초월하기도 한다.
• 성능 향상은 특히 낮은 신호 대 노이즈 비율 환경에서 두드러지며, 이는 노이즈 특징이 모델 학습을 안정화시키기 때문이다.
• 순수한 랜덤 노이즈 특징조차도 예측 성능 향상 기반의 표준 변수 중요도 측정 방식에서 매우 중요하게 나타날 수 있으며, 이는 반응 변수와의 인과관계나 예측 관계가 전혀 없음에도 불구하고 그렇다.
• 상관된 노이즈 특징을 포함시킴으로써 높은 신호 대 노이즈 비율 환경에서 성능 향상이 더욱 향상되며, 이는 더 넓은 정규화 효과를 시사한다.
• 예측 성능 향상 기반의 표준 변수 중요도 메트릭스는 근본적으로 잘못되어 있으며, 노이즈 특징이 정확도 향상에 기여할 경우, 이는 신호와 노이즈를 구분하지 못한다.
• 결과적으로 '예측 성능 향상'은 특징의 필수성에 대한 신뢰할 수 있는 대체 지표가 아니며, 노크오프스와 같은 방법이 특징 중요도를 적절히 평가하기 위해 필요할 수 있음을 암시한다.