[논문 리뷰] Transformation Forests

Torsten Hothorn, Achim Zeileis|arXiv (Cornell University)|2017. 01. 09.

Machine Learning and Data Classification참고 문헌 43인용 수 10

한 줄 요약

이 논문은 조건부 분포를 전환 함수로 정의된 매개수 가족을 통해 모델링하는 새로운 랜덤 포레스트 방법인 전환 숲(Transformation forests)을 소개한다. 전환 트리(분산 변화와 같은 분포 변화를 탐지하도록 설계됨)와 포레스트 기반 집계를 결합함으로써, 예측 구간, 변수 중요도, 부트스트랩 분산 추정 등 더 유연하고 모형 기반의 추론이 가능해지며, 기존의 랜덤 포레스트보다 비평균 기반 이질성 탐지에서 뛰어난 성능을 보인다.

ABSTRACT

Regression models for supervised learning problems with a continuous target are commonly understood as models for the conditional mean of the target given predictors. This notion is simple and therefore appealing for interpretation and visualisation. Information about the whole underlying conditional distribution is, however, not available from these models. A more general understanding of regression models as models for conditional distributions allows much broader inference from such models, for example the computation of prediction intervals. Several random forest-type algorithms aim at estimating conditional distributions, most prominently quantile regression forests (Meinshausen, 2006, JMLR). We propose a novel approach based on a parametric family of distributions characterised by their transformation function. A dedicated novel "transformation tree" algorithm able to detect distributional changes is developed. Based on these transformation trees, we introduce "transformation forests" as an adaptive local likelihood estimator of conditional distribution functions. The resulting models are fully parametric yet very general and allow broad inference procedures, such as the model-based bootstrap, to be applied in a straightforward way.

연구 동기 및 목표

• 기존의 랜덤 포레스트가 조건부 평균만 모델링하고 분산 이동과 같은 분포 변화를 탐지하지 못하는 한계를 해결하기 위해.
• 예측 변수에 조건부로 주어진 반응 변수의 전체 조건부 분포를 모델링하는 방법을 개발하여, 예측 구간 및 분위수 추정과 같은 더 풍부한 추론을 가능하게 하기 위해.
• 매개수 가족 내 매개수 안정성 평가를 통해 분포 변화를 탐지하는 전환 트리(Transformation trees)를 소개하기 위해.
• 랜덤 포레스트를 완전히 매개수 기반 프레임워크로 확장하여 모형 기반 부트스트랩, 최대우도비 검정, 조건부 변수 중요도를 지원하기 위해.
• 통합 전환 모델 프레임워크 하에 케이싱 및 잘린 데이터를 포함한 다양한 반응 유형에 대한 민감한 모델링을 가능하게 하기 위해.

제안 방법

• 이 방법은 반응 변수를 위치-스케일 가족으로 매핑하는 전환 함수로 특징지어진 매개수 가족을 사용하여 조건부 분포의 민감한 모델링을 가능하게 한다.
• ANOVA 또는 로그랭 기준에 의존하지 않고, 전환 모형의 적합도 향상을 위해 최대우도비 검정을 사용하는 새로운 '전환 트리' 알고리즘을 제안한다.
• 전환 숲은 다수의 전환 트리를 집계하며, 각 트리는 종단 노드에서 최대우도 기반으로 조건부 분포 매개수를 추정한다.
• 예측은 가중치가 부여된 경험적 분포 함수에 기반하며, 가중치는 숲 구조 내의 유사도에서 유도된다—특히 관측치가 종단 노드를 공유하는 빈도에 기반한다.
• 이 프레임워크는 최대우도 기반 변수 중요도 및 변동성과 유의성 평가를 위한 모형 기반 부트스트랩을 지원한다.
• 기존의 근접 이웃 가중치보다 단순한 노드 공유를 초월하여 종단 노드의 추정된 분포 매개수 간의 거리 측도(예: 쿨백-라이블러 발산)를 사용하는 대안적 가중치 체계를 제안한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 프레임워크를 조건부 평균 외에도 반응 변수의 전체 조건부 분포를 모델링할 수 있도록 확장할 수 있는가?
• RQ2 트리 기반 방법은 위치 변화 외에 분산 또는 스케일 변화와 같은 분포 변화를 어떻게 탐지할 수 있는가?
• RQ3 기존의 방법(예: 분위수 회귀 숲)과 비교해 전환 숲이 조건부 분위수 및 예측 구간의 추정을 더 정확하게 수행할 수 있는가?
• RQ4 분포 이질성을 포착함으로써 전환 숲이 변수 중요도 평가를 얼마나 향상시키는가?
• RQ5 모형 기반 추론(예: 부트스트랩, 최대우도비 검정)은 완전히 매개수 기반 숲 프레임워크에서 어떻게 적용되어 강력한 통계적 추론를 가능하게 하는가?

주요 결과

• 기존의 분위수 회귀 숲이 평균 중심의 분할 기준에 의존하여 성능이 떨어지는 반면, 전환 숲은 균일 예측 변수에서 .5 지점에서 분산 이동을 성공적으로 탐지한다.
• ANOVA 또는 로그랭 분할 기준에 비해 전환 트리 알고리즘은 위치 기반 이질성이 아닌 비평균 기반 이질성(예: 분산 변화) 탐지에 더 높은 검정력을 보인다.
• 조건부 평균 외에 전체 조건부 분포를 모델링함으로써 전환 숲은 조건부 분위수 및 예측 구간의 정확한 추정이 가능해진다.
• 모형 기반 부트스트랩과 최대우도비 검정은 전환 숲 프레임워크 내에서 실현 가능하며, 매개수 안정성 및 변수 중요도에 대한 추론이 가능하다.
• 통합 매개수 전환 모델 하에 케이싱 및 잘린 데이터를 포함한 다양한 반응 유형을 지원한다.
• 종단 노드의 추정된 분포 매개수 간 쿨백-라이블러 발산을 기반으로 한 대안적 가중치 체계는 기존의 근접 이웃 가중치보다 유사도 추정을 향상시킨다.