[논문 리뷰] Mondrian Forests: Efficient Online Random Forests

Balaji Lakshminarayanan, Daniel M. Roy외 1명|arXiv (Cornell University)|2014. 06. 10.

Neural Networks and Applications참고 문헌 24인용 수 114

한 줄 요약

이 논문은 배치 학습과 동일한 분포를 유지하면서 효율적이고 증분적인 트리 생성이 가능한 새로운 온라인 랜덤 포레스트 알고리즘인 몬드리안 포레스트를 소개한다. 이 방법은 경쟁적인 예측 정확도를 달성하며, 배치 랜덤 포레스트와 최신 온라인 방법과 유사한 성능을 보이지만, 훈련 속도가 10배 이상 빠르므로 스트리밍 데이터 응용에 매우 효율적이다.

ABSTRACT

Ensembles of randomized decision trees, usually referred to as random forests, are widely used for classification and regression tasks in machine learning and statistics. Random forests achieve competitive predictive performance and are computationally efficient to train and test, making them excellent candidates for real-world prediction tasks. The most popular random forest variants (such as Breiman's random forest and extremely randomized trees) operate on batches of training data. Online methods are now in greater demand. Existing online random forests, however, require more training data than their batch counterpart to achieve comparable predictive performance. In this work, we use Mondrian processes (Roy and Teh, 2009) to construct ensembles of random decision trees we call Mondrian forests. Mondrian forests can be grown in an incremental/online fashion and remarkably, the distribution of online Mondrian forests is the same as that of batch Mondrian forests. Mondrian forests achieve competitive predictive performance comparable with existing online random forests and periodically re-trained batch random forests, while being more than an order of magnitude faster, thus representing a better computation vs accuracy tradeoff.

연구 동기 및 목표

• 배치 방법과 유사한 예측 성능을 유지하면서 증분 학습이 가능한 온라인 랜덤 포레스트 알고리즘을 개발하는 것.
• 기존 온라인 랜덤 포레스트의 계산 비효율성 문제를 해결하여, 동일한 정확도를 달성하기 위해 배치 대비 훨씬 더 많은 훈련 데이터가 필요로 하는 문제를 해결하는 것.
• 몬드리안 프로세스의 수학적 성질을 활용하여 온라인 트리 업데이트가 배치 학습과 동일한 분포를 유지하도록 보장하는 것.
• 온라인 학습 환경에서 계산 효율성과 예측 정확도 사이의 우월한 트레이드오���을 달성하는 것.
• 실제 스트리밍 데이터 응용에 적합한 확장성 있고 효율적인 기존 온라인 및 배치 랜덤 포레스트의 대안을 제공하는 것.

제안 방법

• 몬드리안 프로세스를 사용하여 입력 공간의 무작위이고 축에 수직인 분할을 정의하는 스토크래틱 프로세스를 활용해 결정 트리 앙상블를 구성한다.
• 각 트리는 새로운 데이터 포인트를 조건부 분포 MTx(λ, T, DN+1)를 사용하여 트리의 구조를 업데이트함으로써 증분적으로 성장하며, 이는 업데이트된 트리가 배치 모드로 훈련한 것과 동일한 분포를 따르도록 보장한다.
• 핵심 혁신은 몬드리안 프로세스에서 지수 분포의 기억이 없는 성질을 활용하여 트리 깊이에 대해 로그 시간 복잡도로 스케일링되는 효율적인 온라인 업데이트를 가능하게 한다.
• 예측은 앙상블 내 개별 몬드리안 트리의 클래스 확률 출력을 평균하여 수행되며, 표준 랜덤 포레스트와 유사하다.
• 알고리즘은 온라인 및 배치 설정 모두에서 트리에 대한 동일한 이론적 분포를 유지하므로, 훈련 모드 간 일관성을 보장한다.
• 특징 공간 내 직사각형 영역을 명시적으로 표현함으로써 효율적인 계산이 가능하지만, 고차원 설정에서는 더 높은 비용을 초래할 수 있다.

실험 결과

연구 질문

• RQ1 데이터 순서에 관계없이 배치 학습된 포레스트와 동일한 트리 분포를 가지는 온라인 랜덤 포레스트를 구성할 수 있는가?
• RQ2 몬드리안 프로세스 기반 온라인 랜덤 포레스트는 동일한 훈련 데이터 비율로 배치 랜덤 포레스트와 유사한 예측 성능을 달성할 수 있는가?
• RQ3 몬드리안 포레스트의 훈련 속도는 기존 온라인 및 배치 랜덤 포레스트 방법과 비교해 어떻게 되는가?
• RQ4 온라인 몬드리안 포레스트 방법은 정확도를 유지하면서 스트리밍 데이터를 효율적으로 처리할 수 있는가?
• RQ5 불필요한 특징의 존재가 몬드리안 포레스트의 성능에 어떤 영향을 미치며, 특징 필터링을 통해 성능 향상을 도모할 수 있는가?

주요 결과

• 몬드리안 포레스트는 동일한 데이터 비율로 훈련된 경우, 주기적으로 재훈련하는 배치 랜덤 포레스트와 최신 온라인 랜덤 포레스트와 유사한 테스트 정확도를 달성한다.
• 몬드리안 포레스트의 훈련 시간 복잡도는 O(N log N)으로, 재훈련 배치 랜덤 포레스트의 O(N² log N) 복잡도보다 10배 이상 빠르게 스케일링된다.
• DNA 데이터셋에서, 몬드리안 포레스트(MF†)와 ERT-1은 불필요한 특징을 제거한 후 성능이 크게 향상되었으며, MF†와 ERT-1† 모두 뚜렷한 정확도 향상을 보였다.
• 모든 데이터셋에서 훈련된 몬드리안 포레스트의 평균 깊이는 O(log N)로 스케일링되며, 트리 업데이트의 로그 시간 복잡도를 뒷받침한다.
• 몬드리안 포레스트는 기존 온라인 랜덤 포레스트보다 훈련 속도와 목표 정확도에 도달하기 위한 훈련 인스턴스 수에서 뛰어난 성능을 보였다.
• 이 방법은 이론적 일관성을 유지한다: 온라인 업데이트가 배치 학습과 동일한 트리 분포를 생성하며, 이는 다른 온라인 랜덤 포레스트 방법이 공유하지 않는 성질이다.