[논문 리뷰] The Random Forest Kernel and other kernels for big data from random partitions

Alex Davies, Zoubin Ghahramani|Cambridge University Engineering Department Publications Database|2014. 02. 18.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 36

한 줄 요약

이 논문은 랜덤 파artition를 기반으로 효과적인 커널을 구성하는 새로운 프레임워크인 Random Partition Kernel를 제안한다. 이는 대규모 데이터에 대한 확장 가능한 커널 방법을 가능하게 하며, 랜덤 파artition를 커널 함수와 연결함으로써 Random Forest Kernel와 Fast Cluster Kernel를 제안한다. 이 커널들은 실제 회귀 작업에서 표준 커널보다 뛰어난 성능을 보이며, 랜덤 파artition 기반의 타당한 근사화 방법을 통해 가우시안 프로세스, 서포트 벡터 머신, 커널 주성분 분석에서 O(N) 추론을 가능하게 한다.

ABSTRACT

We present Random Partition Kernels, a new class of kernels derived by demonstrating a natural connection between random partitions of objects and kernels between those objects. We show how the construction can be used to create kernels from methods that would not normally be viewed as random partitions, such as Random Forest. To demonstrate the potential of this method, we propose two new kernels, the Random Forest Kernel and the Fast Cluster Kernel, and show that these kernels consistently outperform standard kernels on problems involving real-world datasets. Finally, we show how the form of these kernels lend themselves to a natural approximation that is appropriate for certain big data problems, allowing $O(N)$ inference in methods such as Gaussian Processes, Support Vector Machines and Kernel PCA.

연구 동기 및 목표

• 복잡하고 고차원적인 실제 데이터에 대해 효과적이고 직관적인 커널 구성 방법의 부족을 해결하기 위해.
• Random Forest 및 클러스터링과 같이 자연스럽게 랜덤 파artition를 생성하는 알고리즘으로부터 커널을 유도할 수 있는 일반적인 프레임워크를 개발하기 위해.
• 제안된 커널의 구조를 활용하여 커널 머신(예: GP, SVM, 커널 주성분 분석)에서 대규모 데이터에 대해 확장 가능한 추론을 가능하게 하기 위해.
• 제안된 커널인 Random Forest Kernel와 Fast Cluster Kernel가 실제 회귀 벤치마크에서 표준 커널보다 뛰어난 성능을 보임을 경험적으로 입증하기 위해.

제안 방법

• 논문은 데이터의 랜덤 파artition와 정재성 커널 간의 공식적인 연결을 수립하며, 두 데이터 포인트 간의 유사도가 랜덤 파artition에서 함께 그룹화될 확률로부터 유도될 수 있음을 보여준다.
• 임의의 랜덤 파artition 절차에 대해, 두 포인트가 다수의 랜덤 파artition에서 동일한 클러스터에 속할 확률로 정의되는 일반적인 커널 구성 방법을 제안한다.
• Random Forest Kernel는 Random Forest 분류기에서 생성된 랜덤 파artition를 사용하여 구성된다. 각 트리는 파artition를 정의하고, 커널은 두 포인트가 같은 리프에 속한 트리의 비율로 정의된다.
• Fast Cluster Kernel는 랜덤화된 클러스터링 절차를 사용한다: 각 샘플에 대해 랜덤하게 선택된 특성 부분공간에서 가장 가까운 이웃을 기반으로 데이터를 클러스터로 파artition한다.
• 이 방법은 파artition 과정에서 유도된 저랭크 구조를 활용하여 커널 행렬을 근사함으로써 반복적 해법에서 효율적인 행렬-벡터 곱을 가능하게 하여 O(N) 추론을 실현한다.
• 이 근사화는 이론적 분석과 경험적 평가를 통해 검증되었으며, 작은 수의 파artition에서도 수렴성이 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 Random Forest나 클러스터링과 같이 랜덤 파artition를 생성하는 알고리즘으로부터 효과적인 커널을 도출할 수 있는 일반적인 프레임워크를 개발할 수 있는가?
• RQ2 Random Forest Kernel와 Fast Cluster Kernel와 같이 랜덤 파artition에서 유도된 커널이 실제 회귀 작업에서 RBF나 선형 커널보다 뛰어나게 성능을 발휘하는가?
• RQ3 이러한 파artition 기반 커널의 구조는 커널 머신에서 확장 가능한 추론을 가능하게 하는가? 즉, O(N³)에서 O(N) 복잡도로 전환할 수 있는가?
• RQ4 커널 근사화가 예측 성능을 얼마나 잘 유지하는가? 그리고 수렴하기 위해 필요한 파artition의 수는 얼마인가?

주요 결과

• Random Forest Kernel와 Fast Cluster Kernel는 UCI 저장소의 여섯 개의 실제 회귀 데이터셋에서 표준 커널(RBF, 선형 등)보다 테스트 로그우도 측면에서 일관되게 뛰어난 성능을 보였다.
• 평균적으로 Random Forest Kernel는 RBF 및 선형 커널보다 훨씬 높은 테스트 로그우도를 달성하여 공동 예측 사후분포 모델링 능력이 뛰어남을 시사한다.
• Fast Cluster Kernel는 파artition 수가 증가할수록 성능 향상이 뚜렷하게 나타나 약 200개의 파artition에서 최적 성능에 수렴함을 보였다.
• Random Forest Kernel는 작은 트리 수(m=200)에서도 거의 최적 성능을 달성하여 강력한 수렴 성질을 보였다.
• Fast Cluster Kernel를 사용한 커널 주성분 분석은 O(N)으로 스케일링되며, 일반적인 PC에서 분당 약 100,000개의 데이터 포인트를 처리할 수 있다. 반면 RBF는 O(N³), Random Forest는 O(N¹.⁵)로 스케일링된다.
• 제안된 근사화 방법은 Random Partition 기반의 저랭크 커널 행렬을 활용하여 가우시안 프로세스, 서포트 벡터 머신, 커널 주성분 분석에서 O(N) 추론을 실현한다.