[논문 리뷰] Learning Nonlinear Functions Using Regularized Greedy Forest

Rie Johnson, Tong Zhang|arXiv (Cornell University)|2011. 09. 05.

Neural Networks and Applications참고 문헌 20인용 수 13

한 줄 요약

이 논문은 구조적 결정 숲을 사용하여 비선형 함수를 직접 학습하는 데 사용되는 정규화된 탐욕적 숲(RGF)을 제안한다. 이는 완전 보정 정규화된 탐욕적 최적화를 통해 이루어지며, 기울기 부스팅과 달리 트리 구조와 정규화를 명시적으로 활용함으로써 다양한 데이터셋과 일반 손실 함수에서 GBDT보다 더 높은 정확도와 더 작은 모델을 달성한다.

ABSTRACT

We consider the problem of learning a forest of nonlinear decision rules with general loss functions. The standard methods employ boosted decision trees such as Adaboost for exponential loss and Friedman's gradient boosting for general loss. In contrast to these traditional boosting algorithms that treat a tree learner as a black box, the method we propose directly learns decision forests via fully-corrective regularized greedy search using the underlying forest structure. Our method achieves higher accuracy and smaller models than gradient boosting (and Adaboost with exponential loss) on many datasets.

연구 동기 및 목표

• 결정 숲 학습을 위해 트리의 구조를 활용하는 직접적 학습 방법을 개발함으로써 트리 학습기를 검정 상자로 간주하는 것과는 다름.
• 워퍼 기반 접근 방식을 넘어서 최적화 과정에 트리 구조 정규화를 통합하여 부스팅을 확장함.
• 다양한 학습 과제에서 기존 방법(예: 기울기 부스팅)보다 더 나은 일반화 성능과 모델 효율성을 달성함.
• 회귀, 이진 분류, 쌍별 선호도 학습을 포함한 일반 손실 함수를 지원함.
• 구조적 숲에 대한 완전 보정 최적화가 표준 부스팅보다 뛰어난 성능을 낼 수 있음을 입증함.

제안 방법

• RGF는 결정 숲 학습을 결정 트리의 가산 모델에 대한 완전 보정 정규화된 탐욕적 최적화 문제로 공식화한다.
• 모델 복잡도를 제어하고 일반화 성능을 향상시키기 위해 L2 및 최소 페널티 정규화 항을 포함한 트리 구조 정규화 페널티를 도입한다.
• 알고리즘은 새로운 트리를 추가하는 숲 성장 단계와 정규화된 손실 함수에 대해 좌표 강하를 사용해 잎 노드 가중치를 완전히 보정하는 단계를 번갈아 수행한다.
• 훈련 중 부분 도함수와 정규화 항을 효율적으로 계산하기 위해 사전 정렬된 데이터와 희소 행렬 표현을 사용한다.
• 최소 제곱, 로지스틱, 쌍별 선호도 손실 함수를 포함한 일반 손실 함수를 지원하여 광범위한 적용 가능성을 확보한다.
• 두 단계 훈련 프로세스를 사용한다: 정규화된 숲 성장 후, 일반화 성능 향상을 위한 반복적 가중치 최적화.

실험 결과

연구 질문

• RQ1 결정 숲에 대한 직접적이고 구조 인식 가능한 학습 방법이 표준 기울기 부스팅보다 정확도와 모델 효율성에서 뛰어나지 못할까?
• RQ2 트리 구조 정규화를 통합함으로써 비선형 함수 학습에서 일반화 성능이 향상될까?
• RQ3 결정 숲에 대한 완전 보정 최적화 전략이 증분 부스팅보다 더 나은 성능을 낼 수 있을까?
• RQ4 다양한 데이터셋과 손실 함수에서 RGF는 GBDT와 Adaboost에 비해 어떻게 비교될까?
• RQ5 실제 응용에서 성능 향상에 비례해 RGF의 계산 비용이 정당화될까?

주요 결과

• RGF는 테스트한 53개 모든 데이터셋에서 GBDT보다 낮은 오차를 기록했으며, 평균 오차 차이는 0.0005로 일관된 우수성을 보였다.
• 훈련 데이터의 4:1 분할에서 RGF는 모든 모델 크기에서 GBDT보다 높은 정확도를 달성했으며, 이는 동일한 성능에 더 작은 모델이 필요함을 의미한다.
• Letter 데이터셋에서 RGF의 하이퍼파rameter 선택은 128초가 소요되었고, GBDT는 191초가 소요되어 RGF가 하이퍼파rameter 튜닝에서 더 효율적일 수 있음을 시사한다.
• 개별 훈련 시간이 더 길었음에도 불구하고, RGF는 스태프 기반 Adaboost보다 12% 더 높은 정확도를 기록하여 계산 비용을 정당화한다.
• 선형 회귀, 이진 분류, 쌍별 선호도 학습 과제 전반에서 일관된 성능 향상을 보였다.
• 최소 페널티 정규화를 사용함으로써 실행 시간을 O(ndℓz)에서 O(ndℓ) + O(ℓz²)로 줄여 효율성을 크게 향상시켰다.