[논문 리뷰] Large Random Forests: Optimisation for Rapid Evaluation

Frederik Gossen, Bernhard Steffen|arXiv (Cornell University)|2019. 12. 23.

Machine Learning and Data Classification참고 문헌 20인용 수 4

한 줄 요약

이 논문은 큰 랜덤 포레스트를 분류 정확도나 분산에 영향을 주지 않고도 정확히 동일한 의미를 가진 단일의 대수적 결정다이어그램(ADD)으로 압축하는 방법을 제안한다. 이로 인해 메모리 사용량을 최대 99.99%까지 줄이고 분류 속도를 수십만 배 빠르게 구현할 수 있다. 이 방법은 ADD 기반 집계, 다수결 투표 추상화, 비가능한 경로 제거 기법을 통해 재귀적 중복을 제거함으로써 성능 향상을 이룬다.

ABSTRACT

Random Forests are one of the most popular classifiers in machine learning. The larger they are, the more precise is the outcome of their predictions. However, this comes at a cost: their running time for classification grows linearly with the number of trees, i.e. the size of the forest. In this paper, we propose a method to aggregate large Random Forests into a single, semantically equivalent decision diagram. Our experiments on various popular datasets show speed-ups of several orders of magnitude, while, at the same time, also significantly reducing the size of the required data structure.

연구 동기 및 목표

• 랜덤 포레스트의 수많은 트리 개수에 비례해 선형적으로 증가하는 높은 분류 실행 시간 문제를 해결하기 위해.
• 예측 의미론이나 분산을 변경하지 않으면서도 메모리 사용량을 줄이고 평가 효율성을 향상시키기 위해.
• 대수적 및 의미론적 최적화 기법을 활용해 전체 포레스트를 압축된 결정다이어그램으로 통합 집계하는 전반적 접근을 탐색하기 위해.
• 결정다이어그램 기반 최적화가 기존 방법보다 속도 및 크기 감소 측면에서 뛰어나다는지 평가하기 위해.

제안 방법

• 고정된 조건자 순서 기반의 표준화 집계를 사용해 랜덤 포레스트를 단일 대수적 결정다이어그램(ADD)으로 변환한다.
• 컴파일 시점에 클래스 빈도를 사전 계산함으로써 구조적 복잡성을 줄이기 위해 구성적 추상화를 적용한다.
• 각 경로별로 다수결 투표 결과를 단일 값으로 압축함으로써 비구성적 추상화를 수행하며, 분류 의미론을 유지한다.
• 모순된 조건자를 가진 비가능한 경로를 제거하기 위해 '다른 값' 스타일 최소화 기법을 사용하여 크기 감소와 평가 속도 향상을 추가로 달성한다.
• 결합, 덧셈, 감소와 같은 ADD 전용 연산을 활용해 런타임과 메모리 사용량을 최적화한다.
• 변수 순서 히وري스틱을 적용해 최종 다이어그램 크기를 최소화하고, 표준화되고 최소화된 표현을 보장한다.

실험 결과

연구 질문

• RQ1 큰 랜덤 포레스트를 분류 정확도와 분산을 유지하면서도 단일 결정다이어그램으로 압축할 수 있는가?
• RQ2 기존 랜덤 포레스트 평가 대비 ADD 기반 집계가 분류 시간과 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ3 비가능한 경로 제거 기법이 실제로 지수적 증가를 방지하고 성능 향상에 기여하는가?
• RQ4 구성적 추상화와 비구성적 추상화 간의 크기 및 속도 향상 측면에서의 성능 비교는 어떠한가?
• RQ5 이 방법은 표준 UCI 데이터셋을 넘어 다른 분류기나 데이터 유형으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 수십만 배 빠른 속도 향상을 달성했으며, 표준 UCI 데이터셋에서 분류 시간이 최대 1000배 감소했다.
• 일부 사례에서는 메모리 사용량이 최대 99.99%까지 감소했으며, 최종 결정다이어그램은 원본 포레스트보다 훨씬 작았다.
• Balance Scale 데이터셋에서는 포레스트 노드 수 2,158,330개가 단 144개 노드로 압축되어 99.99% 감소했다.
• 유방암 데이터셋은 5,494,682개 노드에서 3,760개 노드로 감소하여 99.93%의 크기 감소를 기록했으며, 정확도 손실는 최소한이었다.
• 비가능한 경로 제거 기법은 지수적 증가를 방지했고, 다이어그램 크기를 추가로 줄였으며, 일부 경우에서는 원본 포레스트보다 더 작은 다이어그램을 생성했다.
• 이 방법은 원본 랜덤 포레스트의 분산과 예측 정확도를 그대로 유지했으며, 모든 테스트 케이스에서 의미론적 동치성을 확인했다.