[논문 리뷰] InfiniteBoost: building infinite ensembles with gradient descent

Alex Rogozhnikov, Tatiana Likhomanenko|arXiv (Cornell University)|2017. 06. 04.

Image Retrieval and Classification Techniques참고 문헌 14인용 수 7

한 줄 요약

InfiniteBoost는 기울기 부스팅의 오차 보정 메커니즘과 과적합 없이 무한하게 확장 가능한 랜덤 포레스트의 능력을 결합한 새로운 앙상블 학습 알고리즘입니다. 용량 파라미터와 정규화를 갖춘 연속 기울기 하강 프레임워크를 사용함으로써, 성능이 점점 수렴함에 따라 무한대에 가까운 앙상블을 가능하게 하며, 수축 초모수 조정이 필요 없게 하면서도 회귀, 분류, 순위 매기기 작업에서 랜덤 포레스트 및 기울기 부스팅의 성능을 따라하거나 능가합니다.

ABSTRACT

In machine learning ensemble methods have demonstrated high accuracy for the variety of problems in different areas. Two notable ensemble methods widely used in practice are gradient boosting and random forests. In this paper we present InfiniteBoost - a novel algorithm, which combines important properties of these two approaches. The algorithm constructs the ensemble of trees for which two properties hold: trees of the ensemble incorporate the mistakes done by others; at the same time the ensemble could contain the infinite number of trees without the over-fitting effect. The proposed algorithm is evaluated on the regression, classification, and ranking tasks using large scale, publicly available datasets.

연구 동기 및 목표

• 큰 앙상블을 사용할 때 기울기 부스팅에서 발생하는 과적합 문제를 해결함으로써 확장성의 한계를 제거하는 것.
• 기울기 부스팅의 오차 보정 강도와 랜덤 포레스트의 무한한 확장성 특성을 결합하는 것.
• 연속적이고 정규화된 업데이트 메커니즘을 도입함으로써 기울기 부스팅에서 수축 초모수 조정이 필요 없도록 하는 것.
• 수많은 나무가 증가할수록 성능이 안정된 한계값으로 수렴하는 프레임워크를 개발하는 것.

제안 방법

• 알고리즘은 함수 공간에서 연속 기울기 하강 공식을 사용하며, 정규화된 트리 추가 단계를 통해 앙상블를 업데이트합니다.
• 각 새로운 트리는 현재 앙상블 예측에 대한 손실 함수의 음의 기울기를 최소화하도록 훈련됩니다.
• 용량 파라미터가 도입되어 각 새로운 트리의 효과적 기여도를 제어함으로써 앙상블이 커질수록 안정성을 확보합니다.
• 정규화 단계는 새로운 트리를 스케일링하고 앙상블를 조정하여 일관된 크기를 유지함으로써 발산을 방지합니다.
• 수축을 피하기 위해 앙상블 내 활성 트리 수에 기반한 동적 스케일링 요소를 사용합니다.
• 수많은 나무가 증가함에 따라 함수 공간에서 고정점으로 수렴하도록 설계되어 일반화를 보장합니다.

실험 결과

연구 질문

• RQ1 과적합 없이 무한한 수의 나무를 허용하는 부스팅 알고리즘을 설계할 수 있는가, 랜덤 포레스트처럼?
• RQ2 기울기 부스팅을 수정하여 수축 초모수 조정이 필요 없도록 하면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 함수 공간에서의 연속적이고 정규화된 업데이트 규칙이 나무 수가 증가함에 따라 앙상블 예측의 안정적 수렴을 이끌 수 있는가?
• RQ4 InfiniteBoost의 성능은 다양한 학습 작업에서 표준 기울기 부스팅 및 랜덤 포레스트와 비교해 어떻게 되는가?

주요 결과

• InfiniteBoost는 회귀, 분류, 순위 매기기 작업 전반에서 최적의 수축 조정을 사용한 랜덤 포레스트 및 기울기 부스팅과 비교해 동등하거나 뛰어난 성능을 달성합니다.
• InfiniteBoost의 검증 데이터에 대한 학습 곡선은 일정 수의 반복 후에 안정화되며, 앙상블 크기가 증가함에 따라 과적합이 발생하지 않음을 나타냅니다.
• 정규화 및 용량 파라미터가 모델 복잡도를 내재적으로 제어하므로, 수축 초모수 조정이 필요 없습니다.
• 이론적 분석을 통해 InfiniteBoost가 나무 수가 무한에 가까워질수록 함수 공간에서 고정점으로 수렴함을 증명하였으며, 이는 일반화를 보장합니다.
• 실험 결과에 따르면, 표준 기울기 부스팅이 정점에 도달한 후 성능이 저하되는 것과는 달리, InfiniteBoost는 매우 큰 앙상블에서도 유지보수된 안정적인 성능을 보입니다.