[논문 리뷰] CO2 Forest: Improved Random Forest by Continuous Optimization of Oblique Splits

Mohammad Norouzi, Maxwell D. Collins외 2명|arXiv (Cornell University)|2015. 06. 19.

Neural Networks and Applications참고 문헌 24인용 수 5

한 줄 요약

CO2 Forest는 분류 손실에 대한 볼록-오목 상한을 통한 연속 최적화를 통해 기울기 기반 분할(선형 조합의 특징)을 사용하는 혁신적인 랜덤 포레스트 알고리즘을 제안한다. 이는 효율적인 확률적 경사 하강법을 가능하게 하며, 다중 클래스 벤치마크와 LFW 얼굴 분할 작업에서 기존 표준 랜덤 포레스트 및 이전의 기울기 트리 방법을 뛰어넘는 성능을 달성하며, 최대 1000개의 트리로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel algorithm for optimizing multivariate linear threshold functions as split functions of decision trees to create improved Random Forest classifiers. Standard tree induction methods resort to sampling and exhaustive search to find good univariate split functions. In contrast, our method computes a linear combination of the features at each node, and optimizes the parameters of the linear combination (oblique) split functions by adopting a variant of latent variable SVM formulation. We develop a convex-concave upper bound on the classification loss for a one-level decision tree, and optimize the bound by stochastic gradient descent at each internal node of the tree. Forests of up to 1000 Continuously Optimized Oblique (CO2) decision trees are created, which significantly outperform Random Forest with univariate splits and previous techniques for constructing oblique trees. Experimental results are reported on multi-class classification benchmarks and on Labeled Faces in the Wild (LFW) dataset.

연구 동기 및 목표

• 표준 랜덤 포레스트에서 단변량 분할의 한계를 해결함으로써, 계산 효율성은 유지하면서도 분류 능력이 제한됨을 해결하고자 한다.
• 기존의 분할 기준(예: 지니 계수, 정보 이득)이 비가역성과 불연속성으로 인해 기울기 분할에 대한 수치 최적화를 어렵게 하는 문제를 해결하고자 한다.
• 다변량 선형 임계값 함수의 효과적인 최적화를 가능하게 하는 연속적이고 미분 가능한 대체 손실 함수를 개발하고자 한다.
• 최적화 과정에서도 다양성을 유지하여, 랜덤 포레스트 환경에서의 강력한 일반화 성능을 확보하고자 한다.
• 컴퓨터 비전 및 머신러닝에서 흔한 고차원, 대규모 데이터셋에 기울기 트리 학습을 효과적으로 스케일링하고자 한다.

제안 방법

• 일단의 결정 트리에 대해 래프 유사 손실 함수를 사용하여 경험적 분류 손실에 대한 연속 상한을 수립한다.
• 분할 함수를 특징의 선형 조합(기울기 분할)으로 모델링하고, 확률적 경사 하강법을 통해 파라미터를 최적화한다.
• 상한의 볼록-볼록 차분(DC) 분해를 최적화하기 위해 볼록-볼록 절차(CCCP)를 사용한다.
• 다양성을 증진하고 국소 최적해에 갇히는 것을 방지하기 위해 랜덤 포레스트에서 유도된 분할 함수로 최적화를 초기화한다.
• 각 트리를 독립적으로 연속 상한과 SGD를 사용해 최적화하여 최대 1000개의 CO2 트리로 이루어진 포레스트를 훈련한다.
• 상한에 임의의 볼록 손실 함수를 사용함으로써 다중 클래스 분류, 회귀, 구조적 예측으로 이 프레임워크를 일반화한다.

실험 결과

연구 질문

• RQ1 기울기 결정 트리 분할 최적화의 불연속적인 목표 함수에 대해 연속적이고 미분 가능한 대체 손실을 구성할 수 있는가?
• RQ2 고차원 특징 공간에서의 완전 탐색 또는 무작위 샘플링 대비, 기울기 분할의 연속 최적화가 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 랜덤 포레스트 프레임워크에서 조합될 때 최적화된 기울기 트리들이 충분한 다양성을 유지할 수 있는가?
• RQ4 대규모 고차원 데이터셋에서 표준 랜덤 포레스트 및 OC1 대비 CO2 Forest의 정확도와 확장성은 어떻게 비교되는가?
• RQ5 복잡한 특징 공학 없이도 제안된 방법이 실세계 비전 작업(예: 얼굴 부분 분할)에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CO2 Forest는 테스트한 아홉 개의 다중 클래스 분류 벤치마크 전반에서 표준 랜덤 포레스트를 뛰어넘으며, 일관된 정확도 향상을 보였다.
• 라벨이 부여된 얼굴들(LFW) 데이터셋에서, 32개의 트리로 테스트 Jaccard 점수 42.55를 기록하여 랜덤 포레스트(34.61)와 두 프로브 포레스트(38.61)를 뛰어넘었다.
• 16개의 트리로, 그리드 서치를 통해 선별된 하이퍼파rameter η=10⁻⁴ 및 ν=1를 사용하여 검증 Jaccard 점수 41.87을 달성했다.
• 고차원 입력(예: 2883차원 이미지 윈도우)과 대규모 훈련 세트(256,000개의 서브윈도우)에 대해 효과적으로 스케일링되었다.
• 트리 수가 증가함에 따라 CO2 Forest는 랜덤 포레스트에서 초기화된 최적화 과정에서도 다양성이 손상되지 않는다는 점을 보이며 강력한 성능 유지를 유지했다.
• 상한에 일반 볼록 손실 함수를 사용함으로써, 이 프레임워크는 다중 클래스 분류, 회귀, 구조적 예측 등 다른 작업으로도 일반화되었다.