[논문 리뷰] A Reinforcement Learning Approach to Online Learning of Decision Trees

Abhinav Garlapati, Aditi Raghunathan외 2명|arXiv (Cornell University)|2015. 07. 24.

Data Stream Mining Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 강화학습 기반의 온라인 결정트리 알고리즘인 RLDT를 제안한다. RLDT는 분류 및 모델 학습을 위해 가장 정보가 많은 특징만 능동적으로 선택하여 특징 쿼리 수를 최소화하면서도 높은 정확도를 유지한다. 결정트리 학습을 마르코프 결정 과정(MDP)으로 공식화함으로써, 단기적 이득에 의존하는 탐욕적 접근이 아닌 장기적 성능 최적화를 달성한다. 결과적으로, 배치 및 온라인 기준선 대비 훨씬 적은 특징 쿼리 수로 뛰어난 성능을 보이며, 개념 이동에 대해서도 강건성을 확보한다.

ABSTRACT

Online decision tree learning algorithms typically examine all features of a new data point to update model parameters. We propose a novel alternative, Reinforcement Learning- based Decision Trees (RLDT), that uses Reinforcement Learning (RL) to actively examine a minimal number of features of a data point to classify it with high accuracy. Furthermore, RLDT optimizes a long term return, providing a better alternative to the traditional myopic greedy approach to growing decision trees. We demonstrate that this approach performs as well as batch learning algorithms and other online decision tree learning algorithms, while making significantly fewer queries about the features of the data points. We also show that RLDT can effectively handle concept drift.

연구 동기 및 목표

• 데이터 포인트당 특징 쿼리 수를 최소화하면서도 높은 분류 정확도를 유지하는 온라인 결정트리 학습 알고리즘을 개발하기 위해.
• 기존 결정트리 알고리즘에서의 탐욕적이고 단기적인 특징 선택의 한계를 극복하기 위해, 즉각적인 정보 이득이 아닌 장기적 수익을 최적화함으로써.
• 온라인 강화학습의 적응적 성질을 활용하여 개념 이동 환경에서의 점진적 학습을 가능하게 하기 위해.
• 모든 RL 알고리즘이 최적의 결정트리 정책을 학습할 수 있는 통합 프레임워크를 제공함으로써, 비균일한 특징 비용과 같은 다양한 제약 조건을 지원하기 위해.

제안 방법

• 온라인 결정트리 학습을 마르코프 결정 과정(MDP)으로 공식화하며, 상태는 데이터 포인트의 부분적인 특징 지식을 나타내고, 행동은 특징 쿼리 또는 클래스 예측이며, 보상은 정확도와 쿼리 효율성 간 균형을 이루도록 설계된다.
• 틀림없는 예측과 과도한 쿼리에 대한 보상 페널티를 포함하는 보상 함수를 사용하여, 정확하고 컴act한 트리를 최소한의 특징 접근으로 학습하도록 에이전트를 유도한다.
• 표준 강화학습 알고리즘(예: Q-러닝, 정책 그래เดียน트)을 사용하여 상태에서 행동으로의 최적 정책을 학습함으로써, 탄력적이고 확장 가능한 학습이 가능해진다.
• 각 노드에서 어떤 특징이 알려졌는지/모르는지 추적하는 상태 표현을 도입하여, 다시 학습할 필요 없이 동적이고 점진적인 학습이 가능해진다.
• 함수 근사와 동적 가지치기를 통해 고차원 또는 연속형 특징 설정에서 큰 상태 및 행동 공간을 관리한다.
• 가우스 혼합 모델과 같은 모델을 사용해 분할 점을 온라인 추정하거나 이산화함으로써 연속형 특징을 지원하며, 연속된 값 분포에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 강화학습이 온라인 결정트리 학습에서 특징 쿼리를 효과적으로 최소화하면서도 높은 분류 정확도를 유지하는 데에 적합한가?
• RQ2 전통적인 탐욕적, 배치, 온라인 결정트리 알고리즘과 비교할 때, RL 기반 접근법은 정확도와 쿼리 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 RLDT는 비정상적인 데이터 환경에서 시간이 지남에 따라 정책을 적응시킴으로써 개념 이동을 효과적으로 다룰 수 있는가?
• RQ4 기존 결정트리에서의 탐욕적 정보 이득 기반 분할과 비교할 때, RLDT의 장기적 수익 최적화는 어떤가?
• RQ5 RLDT 프레임워크는 효율적인 함수 근사를 통해 고차원 및 연속형 특징 공간을 효과적으로 다룰 수 있는가?

주요 결과

• 버섯 데이터셋에서 RLDT는 데이터 포인트당 단지 2개의 특징 쿼리로 92.53%의 정확도를 달성했으며, 깊이 2로 제한된 C4.5보다도 더 낮은 쿼리 수에도 불구하고 85.33%의 정확도를 기록했다.
• 전기 사용량 데이터셋에서 RLDT는 최종 정확도 83.26%와 평균 정확도 81.15%를 기록했으며, VFDT(최종 정확도 75.8%) 및 기타 온라인 기준선을 모두 능가했다.
• 전기 사용량 데이터셋에서 RLDT는 적절한 학습률을 사용함으로써 개념 이동에 대해 강건성을 보였으며, 많은 표준 온라인 알고리즘과 달리 높은 성능을 유지했다.
• 알고리즘은 특징 쿼리를 크게 줄였으며, 낮은 특징 접근으로도 높은 정확도를 달성함으로써 자원이 제한되거나 특징 확보 비용이 높은 환경에서의 효율성을 입증했다.
• RL 보상 공식을 통해 일반화와 정확도의 균형을 자연스럽게 이루었기 때문에, 명시적 가지치기가 필요 없어졌다.
• 실험 결과, 엄격한 쿼리 제한 조건에서도 RLDT의 성능이 배치 학습 알고리즘과 경쟁 가능했으며, 정보가 부족한 환경에서의 효과성을 입증했다.