[논문 리뷰] The Boundary Forest Algorithm for Online Supervised and Unsupervised Learning

Charles Mathy, Nate Derbinsky외 3명|arXiv (Cornell University)|2015. 05. 12.

Machine Learning and Data Classification참고 문헌 15인용 수 8

한 줄 요약

경계 숲(Boundary Forest, BF) 알고리즘은 감독 및 비감독 설정에서 빠르고 증분적으로 학습하고 질의하는 데 사용할 수 있는 데이터 기반 트리로 이루어진 숲을 구축하는 새로운 온라인 인스턴스 기반 학습 방법이다. 이 알고리즘은 훈련 시간에 O(DN log N), 테스트 시간에 O(D log N)의 시간 복잡도를 달성하여 기존 최고 수준의 방법들보다 빠르게 작동하면서도 벤치마크 데이터셋에서 k-NN의 정확도를 유지한다. 이는 실시간 스트리밍 애플리케이션에 매우 적합하다.

ABSTRACT

We describe a new instance-based learning algorithm called the Boundary Forest (BF) algorithm, that can be used for supervised and unsupervised learning. The algorithm builds a forest of trees whose nodes store previously seen examples. It can be shown data points one at a time and updates itself incrementally, hence it is naturally online. Few instance-based algorithms have this property while being simultaneously fast, which the BF is. This is crucial for applications where one needs to respond to input data in real time. The number of children of each node is not set beforehand but obtained from the training procedure, which makes the algorithm very flexible with regards to what data manifolds it can learn. We test its generalization performance and speed on a range of benchmark datasets and detail in which settings it outperforms the state of the art. Empirically we find that training time scales as O(DNlog(N)) and testing as O(Dlog(N)), where D is the dimensionality and N the amount of data,

연구 동기 및 목표

• 실시간 증분 학습을 지원하며 훈련 및 추론 지연을 최소화하는 학습 알고리즘을 개발하는 것.
• 배치 처리가 필요 없이 고차원 데이터 스트림에서 빠르고 확장 가능한 학습을 가능하게 하는 것.
• 온라인 업데이트를 지원하면서도 k-NN 수준의 높은 일반화 성능을 유지하는 것.
• 임의의 데이터 다양체와 클래스 경계에 적응 가능한 유연하고 비모수적 구조를 제공하는 것.
• 기존의 온라인 트리 기반 및 최근접 이웃 방법들보다 빠르고 확장성 있는 성능을 확보하는 것.

제안 방법

• 알고리즘은 각 노드가 훈련 예제를 저장하고, 증분 학습 중에 거리 기반 메트릭에 따라 간선을 형성하는 경계 트리(Boundary Trees, BTs)의 숲을 구성한다.
• 각 트리는 데이터 포인트를 한 개씩 삽입하면서 구성되며, 기존 노드에 가까운 노드를 선택함으로써 재학습 없이 온라인 학습이 가능하다.
• 노드의 자식 수는 훈련 중에 동적으로 결정되며, 이는 복잡한 데이터 다양체에 대한 민첩한 적응을 가능하게 한다.
• 유클리드 거리와 같은 메트릭 기반 비교를 사용하여 트리를 효율적으로 탐색하고 업데이트함으로써 로그 시간 복잡도의 질의 시간을 달성한다.
• 필요한 경우에만 분류 정확도를 향상시키는 포인트만 저장함으로써, 압축된 형태의 데이터 저장을 위한 콘덴서드 네어스트 뉴스버리 원칙의 변형을 적용한다.
• 동일한 기반 구조를 사용하여 분류, 회귀, 최근접 이웃 검색을 모두 지원한다.

실험 결과

연구 질문

• RQ1 인스턴스 기반 학습 알고리즘이 대규모 스케일에서 빠른 온라인 훈련과 낮은 지연 시간의 추론을 동시에 달성할 수 있는가?
• RQ2 경계 숲의 성능은 k-NN, 랜덤 포레스트, 커버 트리와 비교하여 정확도와 속도 측면에서 어떻게 나타나는가?
• RQ3 알고리즘의 온라인 성격이 오프라인 기준 모델과 비교할 때 일반화 성능에 어떤 영향을 미치는가?
• RQ4 데이터 차원 수와 크기가 증가함에 따라 알고리즘은 어떻게 확장되는가?
• RQ5 지능적인 데이터 선택을 통해 훈련 데이터의 일부만 사용하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 경계 숲은 훈련 시간 복잡도가 O(DN log N), 테스트 시간 복잡도가 O(D log N)로, 훈련 및 추론 모두에서 단순 k-NN보다 뚜렷이 빠르게 작동한다.
• 분류 벤치마크에서 BF의 오류율은 k-NN와 유사하며, 오프라인 BF는 온라인 버전보다 오직 약간 높은 오류율(10% 이내의 증가)을 보였다.
• BF의 훈련 시간은 랜덤 포레스트(RF)보다 훨씬 빠르며, 테스트된 모든 데이터셋에서 단순 k-NN의 총 훈련 및 테스트 시간의 일부에 불과했다.
• BF-4(4코어 버전)는 dna 데이터셋에서 훈련 시간을 0.15초로 줄였고, RF는 3.64초, 단일 코어에서 BF는 0.34초였다.
• mnist 데이터셋에서는 BF가 훈련에 103.9초, 테스트에 23.9초가 걸렸고, RF는 훈련에 310초, 테스트에 0.3초가 걸려 BF의 훈련 효율성이 뛰어났다.
• RF는 추론 속도가 더 빠르지만, BF의 전체 훈련-추론 비용은 훨씬 낮아서 스트리밍 애플리케이션에 더 적합하다.