[논문 리뷰] Canonical Correlation Forests

Tom Rainforth, Frank Wood|arXiv (Cornell University)|2015. 07. 20.

Neural Networks and Applications참고 문헌 46인용 수 40

한 줄 요약

이 논문은 축에 평행하지 않은 트리보다 관련된 입력 특징을 더 효과적으로 모델링할 수 있도록 局부 코herence 분석 기반의 초평면 분할을 사용하는 새로운 결정 트리 앙상블 방법인 캐논리컬 상관관계 포레스트(CCFs)를 소개한다. CCFs는 랜덤 포레스트 및 최신 기술의 트리 앙상블보다 뛰어난 예측 정확도와 더 빠른 훈련 속도를 달성하며, 최근의 벤치마크에서 하이퍼파라미터 조정 없이도 179개의 분류기 중에서 모두를 능가한다.

ABSTRACT

We introduce canonical correlation forests (CCFs), a new decision tree ensemble method for classification and regression. Individual canonical correlation trees are binary decision trees with hyperplane splits based on local canonical correlation coefficients calculated during training. Unlike axis-aligned alternatives, the decision surfaces of CCFs are not restricted to the coordinate system of the inputs features and therefore more naturally represent data with correlated inputs. CCFs naturally accommodate multiple outputs, provide a similar computational complexity to random forests, and inherit their impressive robustness to the choice of input parameters. As part of the CCF training algorithm, we also introduce projection bootstrapping, a novel alternative to bagging for oblique decision tree ensembles which maintains use of the full dataset in selecting split points, often leading to improvements in predictive accuracy. Our experiments show that, even without parameter tuning, CCFs out-perform axis-aligned random forests and other state-of-the-art tree ensemble methods on both classification and regression problems, delivering both improved predictive accuracy and faster training times. We further show that they outperform all of the 179 classifiers considered in a recent extensive survey.

연구 동기 및 목표

• 축에 평행한 결정 트리의 한계를 해결함으로써 상관관계가 있는 입력 특징을 다룰 수 있도록 하여, 모델 성능 저하 및 특징 회전에 대한 민감도를 감소시키기 위해.
• 기존 트리 앙상블에서 개별 트리 정확도와 앙상블 다양성 사이의 상충 관계를 극복하기 위해, 더 정보가 풍부하고 데이터 기반의 분할을 사용하기 위해.
• 특징 상관관계와 다중 출력을 자연스럽게 통합할 수 있는 확장성 있고 견고하며 하이퍼파라미터에 관용적인 앙상블 방법을 개발하기 위해.
• 분할 선택 시 전체 데이터셋을 유지하는 방식의 새로운 샘플링 전략인 프로젝션 부트스트랩(Projection Bootstrapping)을 도입하여, 데이터 서브샘플링을 피하고 예측 정확도를 향상시키기 위해.
• CCFs가 다양한 분류 및 회귀 과제에서 하이퍼파라미터 조정 없이도 기존 방법을 능가함을 입증하기 위해.

제안 방법

• 각 결정 노드에서 코herence 분석(CCA)을 사용하여 입력 특징 상관관계와 출력 예측을 동시에 최적화하는 초평면 분할을 계산한다.
• 지역적 CCA에서 유도된 기울어진 초평면 분할을 사용하여 개별 트리를 구성함으로써, 입력 특징 좌표계에 제약을 받지 않는 결론 표면을 가능하게 한다.
• 전체 데이터셋을 분할 선택 시 유지하는 새로운 샘플링 전략인 프로젝션 부트스트랩을 구현함으로써, 데이터 서브샘플링을 피하고 분할 품질을 향상시킨다.
• 표준 랜덤 포레스트 프레임워크를 수정하여 이러한 트리를 앙상블로 훈련함으로써, 표준 랜덤 포레스트와 유사한 계산 복잡도를 유지한다.
• 각 노드에서 다변량 반응 변수를 처리할 수 있도록 CCA를 확장하여 다중 출력 예측을 네이티브로 지원한다.
• 훈련 및 추론을 위한 단일 라인 인터페이스를 사용하여, 최소한의 사용자 전문 지식으로 블랙박스 배포가 가능하게 한다.

실험 결과

연구 질문

• RQ1 코herence 분석 기반의 초평면 분할이 축에 평행한 분할보다 결정 트리 앙상블의 예측 정확도를 향상시키는가?
• RQ2 프로젝션 부트스트랩은 기울어진 트리 앙상블에서 전통적인 부트스트랩보다 더 나은 모델 성능을 이끌어내는가?
• RQ3 CCFs는 축에 평행하지 않은 트리 방법에 비해 입력 특징의 회전과 상관관계에 대해 얼마나 덜 민감한가?
• RQ4 CCFs는 하이퍼파라미터 조정 없이도 최신 기술 수준의 성능을 달성할 수 있는가? 최근의 벤치마크에서 179개의 분류기 중에서 모두를 능가하는가?
• RQ5 CCFs의 계산 복잡도와 훈련 속도는 표준 랜덤 포레스트 및 기타 트리 앙상블 방법과 비교하여 어떻게 되는가?

주요 결과

• CCFs는 하이퍼파라미터 조정 없이도 분류 및 회귀 과제에서 축에 평행한 랜덤 포레스트 및 다른 최신 기술의 트리 앙상블보다 더 높은 예측 정확도를 달성한다.
• 179개의 분류기로 구성된 종합적 벤치마크에서, CCFs는 경쟁 방법의 튜닝된 버전을 포함하여 모든 다른 방법을 능가했다.
• CCFs는 CCA 기반 분할이 더 정보가 풍부하고 효율적이므로, 노드당 후보 분할 수가 적어 더 빠른 훈련 시간을 보였다.
• 프로젝션 부트스트랩을 사용함으로써 분할 선택 시 전체 데이터셋 활용을 유지함으로써 예측 성능 향상이 이루어졌으며, 분산 감소와 일반화 능력 향상에 기여했다.
• CCFs는 특징의 회전과 상관관계에 대해 뛰어난 견고성을 보였으며, 고정된 축에 제약을 받지 않고 국소 데이터 구조에 적응하는 초평면 분할을 통해 이를 달성했다.
• 표준 랜덤 포레스트보다 적은 수의 트리로도 유사하거나 더 높은 성능을 달성함으로써 더 높은 샘플 효율성과 낮은 계산 비용을 보였다.