[논문 리뷰] Understanding Random Forests: From Theory to Practice

Gilles Louppe|arXiv (Cornell University)|2014. 01. 01.

Neural Networks and Applications참고 문헌 105인용 수 594

한 줄 요약

이 박사학위논문은 랜덤 포레스트에 대한 체계적인 이론적 및 실용적 분석을 제공하며, 학습 메커니즘, 변수 중요도 측정을 통한 해석 가능성, 대규모 데이터셋에서의 확장성에 대해 엄밀히 검토한다. 표준 변수 중요도 추정의 핵심 결함인 마스킹 효과와 트리 구조로 인한 문제를 규명하고, 완전히 무작위로 선택된 트리에 대한 이론적 수정을 제안하며, 메모리 사용을 줄이면서도 대규모 데이터셋에서의 성능을 유지할 수 있음을 입증한다.

ABSTRACT

Data analysis and machine learning have become an integrative part of the modern scientific methodology, offering automated procedures for the prediction of a phenomenon based on past observations, unraveling underlying patterns in data and providing insights about the problem. Yet, caution should avoid using machine learning as a black-box tool, but rather consider it as a methodology, with a rational thought process that is entirely dependent on the problem under study. In particular, the use of algorithms should ideally require a reasonable understanding of their mechanisms, properties and limitations, in order to better apprehend and interpret their results. Accordingly, the goal of this thesis is to provide an in-depth analysis of random forests, consistently calling into question each and every part of the algorithm, in order to shed new light on its learning capabilities, inner workings and interpretability. The first part of this work studies the induction of decision trees and the construction of ensembles of randomized trees, motivating their design and purpose whenever possible. Our contributions follow with an original complexity analysis of random forests, showing their good computational performance and scalability, along with an in-depth discussion of their implementation details, as contributed within Scikit-Learn. In the second part of this work, we analyse and discuss the interpretability of random forests in the eyes of variable importance measures. The core of our contributions rests in the theoretical characterization of the Mean Decrease of Impurity variable importance measure, from which we prove and derive some of its properties in the case of multiway totally randomized trees and in asymptotic conditions. In consequence of this work, our analysis demonstrates that variable importances [...].

연구 동기 및 목표

• 랜덤 포레스트를 머신러닝 방법론으로서 체계적인 이론적 및 실용적 이해를 제공함으로써, 흑박상(Black-box) 사용을 넘어선 이해를 목표로 한다.
• 특히 마스킹 효과와 불순도 오차 추정으로 인한 편향이 발생하는 변수 중요도 추정의 근본적인 문제를 조사하고 해결한다.
• 랜덤 포레스트의 계산적 확장성과 대규모 데이터셋에서의 메모리 효율성을 분석한다.
• 샘플과 특성의 동시에 서브샘플링하는 것이 전체 데이터셋 기반 학습에 대한 실용적인 대안이 되는지 평가한다.
• 특히 Scikit-Learn 프레임워크 내에서의 랜덤 포레스트 설계 및 구현에 대한 이론적 및 경험적 통찰을 기여한다.

제안 방법

• 랜덤 포레스트의 복잡도 분석을 수행하여 이론적 및 구현적 맥락에서의 계산 효율성과 확장성을 평가한다.
• 점차적 조건 하에서 다방향 완전 무작위 트리의 맥락에서 평균 불순도 감소(MDI) 변수 중요도 측정의 이론적 특성화를 수행한다.
• 통제된 조건 하에서 MDI의 수학적 성질을 유도하여 비완전 무작위 트리에서 내재된 편향을 폭 드러낸다.
• 광범위한 경험적 실험을 통해 전체 데이터셋 기반 학습 모델과 소규모 무작위 서브샘플 데이터 기반 학습 모델의 성능을 비교한다.
• 샘플과 특성을 동시에 서브샘플링하는 이중 서브샘플링 전략을 제안하고, 예측 정확도를 유지하면서 메모리 사용을 줄이는지 평가한다.
• 이론적 발견을 실용적 구현 세부사항과 융합하여, 특히 Scikit-Learn 라이브러리 내에서 재현 가능성과 실생활 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트에서 평균 불순도 감소(MDI) 변수 중요도 측정의 이론적 성질은 무엇이며, 특히 점차적 조건과 완전 무작위 조건 하에서 어떻게 나타나는가?
• RQ2 표준 랜덤 포레스트가 왜 편향된 변수 중요도 추정을 보이는가? 근본 원인은 마스킹 효과, 불순도 오차 추정, 또는 이진 트리 구조 중 어느 것인가?
• RQ3 대규모 데이터셋의 소규모 무작위 서브샘플로 학습한 랜덤 포레스트가 전체 데이터셋 기반 학습과 비교하여 높은 예측 성능을 유지할 수 있는가?
• RQ4 특성과 샘플을 동시에 서브샘플링하는 것이 모델 성능과 메모리 효율성에 어떤 영향을 미치는가?
• RQ5 변수 중요도 측정에 대한 이론적 수정을 통해 랜덤 포레스트의 해석 가능성은 어떻게 향상시킬 수 있는가?

주요 결과

• 점차적 조건 하에서 다방향 완전 무작위 트리의 맥락에서 평균 불순도 감소(MDI) 변수 중요도 측정은 이론적으로 잘 정의되어 있으며 편향이 없다.
• 표준 랜덤 포레스트(완전 무작위가 아닌 경우)에서는 상관된 특성이 존재할 경우 마스킹 효과와 불순도 오차 추정으로 인해 변수 중요도 측정에 심각한 편향이 발생한다.
• 결정 트리의 이진 구조는 특히 상관된 특성이 존재할 경우 변수 중요도 추정의 왜곡을 유발한다.
• 경험적 결과에 따르면, 샘플과 특성을 동시에 서브샘플링하여 학습한 랜덤 포레스트가 전체 데이터셋 기반 학습과 유사한 성능을 달성할 수 있다.
• 서브샘플링된 데이터를 사용할 경우 메모리 요구량이 크게 감소하여 표준 하드웨어에서도 대규모 랜덤 포레스트 학습이 가능해진다.
• 본 연구는 여러 개의 독립된 소규모 서브샘플로 학습된 모델들을 조합하여 앙상블을 구성하는 것이 거대 데이터셋 기반 단일 모델 학습에 대한 실용적이고 효율적인 대안임을 입증한다.