[논문 리뷰] Geometry- and Accuracy-Preserving Random Forest Proximities

Jake S. Rhodes, Adele Cutler외 1명|arXiv (Cornell University)|2022. 01. 29.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 랜덤 포레스트 쌍별 유사도의 새로운 정의인 Random Forest-Geometry- and Accuracy-Preserving proximities (RF-GAP)를 제안한다. RF-GAP는 유사도 가중 투표를 통해 오차 외 예측을 정확히 복원하며, 학습된 데이터 기하학적 구조가 랜덤 포레스트의 예측 구조와 일치하도록 보장하여, 기존 방법에 비해 보정, 이상치 탐지, 시각화 작업에서 성능 향상을 이룬다.

ABSTRACT

Random forests are considered one of the best out-of-the-box classification and regression algorithms due to their high level of predictive performance with relatively little tuning. Pairwise proximities can be computed from a trained random forest and measure the similarity between data points relative to the supervised task. Random forest proximities have been used in many applications including the identification of variable importance, data imputation, outlier detection, and data visualization. However, existing definitions of random forest proximities do not accurately reflect the data geometry learned by the random forest. In this paper, we introduce a novel definition of random forest proximities called Random Forest-Geometry- and Accuracy-Preserving proximities (RF-GAP). We prove that the proximity-weighted sum (regression) or majority vote (classification) using RF-GAP exactly matches the out-of-bag random forest prediction, thus capturing the data geometry learned by the random forest. We empirically show that this improved geometric representation outperforms traditional random forest proximities in tasks such as data imputation and provides outlier detection and visualization results consistent with the learned data geometry.

연구 동기 및 목표

• 기존 랜덤 포레스트 유사도와 랜덤 포레스트가 학습한 실제 데이터 기하학 간의 일관성 문제를 해결하기 위해.
• 랜덤 포레스트 모델의 기하학적 구조와 예측 정확도를 모두 유지하는 유사도 정의를 개발하기 위해.
• 오차 외 예측과 일치하는 유사도 정의를 통해 데이터 보정, 이상치 탐지, 시각화와 같은 더 정확하고 해석 가능한 응용을 가능하게 하기 위해.
• 기존 유사도 정의가 숲의 오차 외 예측을 복원하지 못하는 데 대비하여 이론적으로 타당하고 경험적으로 검증된 대안을 제공하기 위해.

제안 방법

• 내부 샘플 관측치를 투표 지점으로 사용하여 오차 외 관측치의 가중치를 계산하는 RF-GAP 유사도를 정의한다.
• 각 트리에서 동일한 종단 노드를 공유하는 내부 샘플의 수를 정규화하여 두 오차 외 점 간의 유사도를 계산한다.
• 유사도 가중 합(회귀) 또는 다数 투표(분류)를 사용하여 레이블을 예측함으로써 오차 외 예측과 정확히 일치시킨다.
• 내부 클래스 이웃에 대한 역유사도를 사용하여 유사도 기반 이상치 탐지 수행하며, 중앙값과 MAD를 이용해 안정성 확보.
• 다양한 차원의 척도(MDS)에서 유사도 행렬을 사용하여 시각화하며, 점의 크기를 이상치 점수로 반영.
• 더 큰 데이터셋에 대한 확장성을 높이기 위해 희소 버전을 구현한다.

Figure 1: An example of a random forest and notation with regards to a particular observation $x_{1}$ . The red-encircled trees are those in which $x_{1}$ is out of bag, making up the set of trees $S_{1}$ . A particular tree in $S_{1}$ is exhibited. The out-of-bag indices for the tree are given in r

실험 결과

연구 질문

• RQ1 오차 외 예측과 정확히 일치하는 유사도 가중 예측을 가능하게 하는 새로운 랜덤 포레스트 유사도 정의를 구성할 수 있는가?
• RQ2 제안된 RF-GAP 유사도 측정치는 기존 정의에 비해 랜덤 포레스트가 학습한 데이터 기하학을 더 잘 반영하는가?
• RQ3 RF-GAP은 데이터 보정, 이상치 탐지, 시각화와 같은 후행 작업에서 성능 향상을 이끌 수 있는가?
• RQ4 RF-GAP은 기존의 전통적 유사도와 RFProxIH에 비해 군집 구조를 더 잘 포착하고, 잘못 분류되거나 이상치로 간주되는 점을 더 잘 식별하는가?

주요 결과

• 이론적으로 증명되고 경험적으로 검증된 바에 따르면, RF-GAP 유사도는 모두 회귀 및 분류 작업에서 랜덤 포레스트의 오차 외 예측을 정확히 재현한다.
• 데이터 보정 작업에서 RF-GAP는 기존 랜덤 포레스트 유사도와 RFProxIH를 모두 초월하여 더 높은 예측 정확도를 보였다.
• RF-GAP를 사용한 이상치 탐지에서는 클래스 군집에서의 거리가 명확하게 반영된 점수를 생성하였으며, 고점수를 받은 점들은 MNIST에서 모호하거나 잘못 분류된 숫자에 해당했다.
• RF-GAP를 사용한 시각화에서는 원래의 유사도와 RFProxIH에 비해 클래스 군집 간의 분리가 더 명확하고 이상치 관측치의 식별이 더 정확했다.
• RF-GAP의 이상치 점수는 내부 클래스 점들에 대한 평균 유사도의 역수이므로, 기존 방법보다 더 해석 가능하고 일관성 있는 측정치를 제공한다.
• 이 방법은 수천 개의 관측치를 포함하는 데이터셋에 대해 확장 가능하며, 더 큰 데이터셋에 적용 가능하도록 희소 구현을 제안한다.

Figure 2: Random forest predictions are compared here with the proximity-weighted predictions for both regression and classification problems. For each of the datasets listed in supplemental Table B.1 , the differences were calculated across five random seeds. For classification, the RF-GAP predicti