[논문 리뷰] Hyperbolic Random Forests

Lars Doorenbos, Pablo Márquez-Neila외 2명|arXiv (Cornell University)|2023. 08. 25.

Hydrocarbon exploration and reservoir analysisEngineering인용 수 3

한 줄 요약

이 논문은 초평면 대신 호표면을 분할 표면으로 사용함으로써 초평면을 초위상 공간으로 일반화한 하이퍼볼릭 랜덤 포레스트 분류기인 HoroRF를 제안한다. 정보성 높은 호표면을 찾기 위해 마진이 큰 분류기를 결합하고, 다중 클래스 및 불균형 데이터를 위해 하이퍼클래스와 클래스 균형 손실을 도입함으로써 HoroRF는 계층적이고 불균형한 벤치마크에서 최신 기술 수준의 성능을 달성하여 유클리드 및 기존의 하이퍼볼릭 분류기들을 모두 능가한다.

ABSTRACT

Hyperbolic space is becoming a popular choice for representing data due to the hierarchical structure - whether implicit or explicit - of many real-world datasets. Along with it comes a need for algorithms capable of solving fundamental tasks, such as classification, in hyperbolic space. Recently, multiple papers have investigated hyperbolic alternatives to hyperplane-based classifiers, such as logistic regression and SVMs. While effective, these approaches struggle with more complex hierarchical data. We, therefore, propose to generalize the well-known random forests to hyperbolic space. We do this by redefining the notion of a split using horospheres. Since finding the globally optimal split is computationally intractable, we find candidate horospheres through a large-margin classifier. To make hyperbolic random forests work on multi-class data and imbalanced experiments, we furthermore outline a new method for combining classes based on their lowest common ancestor and a class-balanced version of the large-margin loss. Experiments on standard and new benchmarks show that our approach outperforms both conventional random forest algorithms and recent hyperbolic classifiers.

연구 동기 및 목표

• 초평면 공간에서의 트리 기반 분류기 부족 문제를 해결하기 위해, 계층적 데이터에 적합한 초위상 공간의 기하학적 특성(체적의 지수적 증가)을 활용한다.
• 복잡하고 계층적이며 불균형적인 데이터셋에서 기존의 하이퍼볼릭 분류기(예: 하이퍼볼릭 SVM 및 로지스틱 회귀)의 한계를 극복한다.
• 호표면을 분할 표면으로 사용하여 초위상 공간에서 의사결정 트리를 구성하는 가용성 있고 효과적인 방법을 개발한다.
• 신규 구성 요소인 하이퍼클래스와 클래스 균형 손실 함수를 통해 초위상 공간에서의 다중 클래스 및 불균형 클래스 학습을 효과적으로 가능하게 한다.

제안 방법

• 의사결정 트리에서 유클리드 초평면 분할을 호표면 분할로 대체하여, 초위상 공간의 기하학적 성질을 활용한다.
• 정보량이 높은 호표면을 효율적으로 탐색하기 위해 대량 마진 이진 분류기(HoroSplitter)를 사용하여 계산이 비현실적인 전수 탐색을 피한다.
• 클래스를 그들의 가장 낮은 공통 조상 기반으로 군집화하는 하이퍼클래스 히어리스틱을 도입하여 다중 클래스 분할 품질을 향상시킨다.
• 불균형 데이터셋에서 성능 저하를 완화하기 위해 대량 마진 손실의 클래스 균형 버전을 사용한다.
• 호표면 분할을 가진 트리를 재귀적으로 생성함으로써 HoroSplitter를 반복 적용하여 랜덤 포레스트를 구성함으로써 계층적 일반화를 가능하게 한다.
• 학습된 임bedding과 기하 연산을 사용하여 초위상 공간에서의 엔드 투 엔드 학습 및 추론을 지원한다.

실험 결과

연구 질문

• RQ1 초평면 분할을 호표면 분할로 대체함으로써 랜덤 포레스트를 초위상 공간으로 효과적으로 일반화할 수 있는가?
• RQ2 전체 탐색이 계산적으로 비현실적인 상황에서 실용적으로 호표면 분할을 효율적으로 찾을 수 있는가?
• RQ3 구조적 수정을 통해 다중 클래스 및 불균형 계층적 데이터셋에서 하이퍼볼릭 분류기의 성능을 향상시킬 수 있는가?
• RQ4 HoroRF는 표준 및 새로운 벤치마크에서 유클리드 및 기존의 하이퍼볼릭 분류기와 비교해 어떻게 성능을 내는가?

주요 결과

• HoroRF는 계층적이고 불균형한 데이터셋에서 기존의 랜덤 포레스트(OblRF) 및 유클리드 SVM보다 뛰어난 성능을 보이며, 특히 WordNet의 'occupation' 및 'rodent'와 같이 복잡하고 포화되지 않은 벤치마크에서 두드러진다.
• WordNet 부분수계 분류 작업에서 HoroRF는 가장 높은 매크로-F1 점수를 기록했으며, 'occupation' 부분수계에서 HoroSVM보다 12.3% 향상되었고, HypMLR보다 6.7% 향상되었다.
• WordNet 다중 클래스 실험에서 HoroRF는 유클리드 및 하이퍼볼릭 기준선을 모두 능가했으며, 'solid' 부분수계에서 OblRF보다 AUPR가 9.1% 높았고, 모든 세 가지 다중 클래스 작업에서 HypMLR 및 HoroSVM를 초월했다.
• 절단 실험 결과에서 하이퍼클래스 히어리스틱과 클래스 균형 손실 모두 성능 향상에 기여하며, 두 요소의 조합이 축구 데이터셋에서 가장 우수한 성능을 내는 것으로 확인되었다.
• 임bedding 차원을 2에서 10으로 증가시키면 대부분의 WordNet 부분수계에서 거의 완벽한 AUPR를 달성하지만, HoroRF는 높은 차원에서 성능이 저하되는 'tree' 부분수계에서도 강력한 성능 유지를 보였다.