[논문 리뷰] Comparison-Based Random Forests

Siavash Haghiri, Damien Garreau외 1명|arXiv (Cornell University)|2018. 06. 18.

Face and Expression Recognition참고 문헌 7인용 수 4

한 줄 요약

이 논문은 유럽거리, 거리 기반, 순서 기반 설정 전반에서 경쟁적인 성능를 보이며, 명시적인 벡터 표현이나 거리 값 없이도 분류 및 회귀를 수행할 수 있는 새로운 랜덤 포레스트 알고리즘인 비교 기반 랜덤 포레스트(CompRF)를 제안한다. 이는 삼중 비교(query)를 통해 한 요소가 두 번째 또는 세 번째 요소보다 더 가까운지 여부를 판단한다. 이 방법은 성능 면에서 임베딩 기반 기준선을 뛰어넘으며, 약간의 조건 하에 통계적 일致성을 입증한다.

ABSTRACT

Assume we are given a set of items from a general metric space, but we neither have access to the representation of the data nor to the distances between data points. Instead, suppose that we can actively choose a triplet of items (A,B,C) and ask an oracle whether item A is closer to item B or to item C. In this paper, we propose a novel random forest algorithm for regression and classification that relies only on such triplet comparisons. In the theory part of this paper, we establish sufficient conditions for the consistency of such a forest. In a set of comprehensive experiments, we then demonstrate that the proposed random forest is efficient both for classification and regression. In particular, it is even competitive with other methods that have direct access to the metric representation of the data.

연구 동기 및 목표

• 명시적인 데이터 표현이나 거리 척도 없이도 삼중 비교(query)만을 사용하는 랜덤 포레스트 알고리즘을 개발하는 것.
• 순서 기반 임베딩 방법의 한계를 해결하는 것—즉, 느린 속도와 데이터 표현의 왜곡을 유발한다는 점.
• 단순화된 모델 하에서 비교 기반 랜덤 포레스트의 이론적 일치성(consistency)을 확립하는 것.
• 유클리드, 거리 기반, 순수 비교 기반 설정에서 분류 및 회귀 과제에 대해 CompRF의 경험적 효과성을 입증하는 것.

제안 방법

• 각 노드의 데이터 서브셋 내에서 대조되는 레이블을 가진 랜덤 피봇 포인트를 사용해 비교 트리를 구성한다.
• 각 노드에서 알고리즘은 점들이 한 피봇에 더 가까운지 여부에 따라 데이터를 분할하며, 이는 오직 삼중 비교 쿼리만을 사용한다.
• M개의 이러한 트리를 포레스트로 집계하며, 예측은 모든 트리의 평균(회귀) 또는 다수결 투표(분류) 방식으로 이루어진다.
• 벡터 공간 가정을 피하기 위해 트리 구축 과정에서 오라클 쿼리를 통한 상대적 거리 비교에만 의존한다.
• 알고리즘은 약간의 조건 하에 일치성을 보장하도록 설계되었으며, 이론적 분석은 트리 구축 과정의 단순화된 변형에 집중한다.
• 실제로는 $ n_0 = 1 $ 과 $ M = 200 $ 을 사용하며, 거리가 알려진 데이터셋과 순수 비교 기반 환경 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 벡터 표현이나 거리 값에 접근할 수 없는 상황에서 삼중 비교 쿼리만으로도 일관된 랜덤 포레스트를 훈련시킬 수 있는가?
• RQ2 거리 값만 제공되는 상황에서 비교 기반 랜덤 포레스트의 성능이 CART 포레스트와 비교해 어떻게 되는가?
• RQ3 삼중 비교를 통해 유럽 거리 공간에 데이터를 임베딩하는 간접적 접근 방식보다 제안된 방법이 성능 면에서 뛰어나게 되는가?
• RQ4 비교 기반 설정에서 활성적으로 선택된 삼중 비교와 무작위 삼중 비교의 영향은 어떠한가?
• RQ5 대규모의 순수 비교 기반 환경에서도 높은 정확도와 낮은 계산 비용을 유지할 수 있는가?

주요 결과

• 거리가 제공되는 설정에서, CompRF는 커널 SVM보다 MUTAG 및 ENZYMES 데이터셋에서 더 높은 성능를 보이며, 커널 생성이 필요하지 않다.
• 비교 기반 설정에서, 동일한 삼중 비교 쿼리를 사용할 경우, CompRF는 TSTE 기반 임베딩 방법보다 낮거나 유사한 분류 오차를 기록한다.
• 동일한 삼중 비교 집합을 사용할 때, CompRF는 항상 임베딩 기반 방법보다 뛰어나며, 더 뛰어난 강건성과 효율성을 입증한다.
• TSTE와 같은 순서 기반 임베딩 기법은 대규모 데이터셋에서 계산 비용이 과도하게 높아지므로, 이에 비해 CompRF는 훨씬 더 빠르다.
• 모든 테스트 환경—유클리드, 거리 기반, 비교 기반—에서 CompRF는 뛰어난 성능를 유지하며, 광범위한 적용 가능성을 보여준다.
• 이론적 분석을 통해 알고리즘의 단순화된 변형에 대해 일치성을 입증하였으며, 향후 더 현실적인 트리 구축 과정으로의 확장에 기초를 마련한다.