[논문 리뷰] Costly Features Classification using Monte Carlo Tree Search

Ziheng Chen, Jin Huang외 2명|arXiv (Cornell University)|2021. 02. 14.

Auction Theory and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 비용이 드는 특성 분류 문제를 위해 이점 근사법(Advantage Actor-Critic, A2C)과 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 조합한 이단계 강화학습 방법을 제안한다. 여기서 특성 확보에는 시간, 에너지 또는 인간의 노력과 같은 비용이 수반된다. 이 방법은 분류 정확도와 비용을 균형 있게 조절하기 위해 적응형 특성 선택 정책을 학습함으로써, 균형 잡힌 데이터셋과 비균형 잡힌 데이터셋 양쪽에서 최신 기술 수준의 성능을 달성한다. MCTS는 A2C의 비최적 정책을 크게 향상시키면서도 효율성을 유지한다.

ABSTRACT

We consider the problem of costly feature classification, where we sequentially select the subset of features to make a balance between the classification error and the feature cost. In this paper, we first cast the task into a MDP problem and use Advantage Actor Critic algorithm to solve it. In order to further improve the agent's performance and make the policy explainable, we employ the Monte Carlo Tree Search to update the policy iteratively. During the procedure, we also consider its performance on the unbalanced dataset and its sensitivity to the missing value. We evaluate our model on multiple datasets and find it outperforms other methods.

연구 동기 및 목표

• 특성 확보에 시간, 에너지 또는 인간의 노력과 같은 비용이 수반되는 비용이 드는 특성 분류 문제를 해결하기 위해.
• 분류 오차와 특성 확보 비용을 최적의 균형으로 조절하는 순차적 특성 선택 전략을 개발하기 위해.
• A2C와 MCTS를 통합하여 정책 개선을 통해 모델의 안정성과 해석 가능성을 향상시키기 위해.
• 소수의 클래스가 영향을 미치는 것을 고려하여 보상 함수를 설계함으로써 데이터셋의 클래스 불균형을 처리하기 위해.
• 실세계 분류 작업에서 DQN, Adapt-Gbrt, BudgetPrune와 같은 기존 방법보다 정확도-비용 균형에서 뛰어난 성능을 내기 위해.

제안 방법

• 비용이 드는 특성 분류 문제를 마르코프 결정 과정(Markov Decision Process, MDP)으로 수식화하여 특성 확보에 대한 순차적 의사결정을 가능하게 한다.
• 특성 선택에서 탐색과 이용을 균형 있게 조절할 수 있도록 이점 근사법(Advantage Actor-Critic, A2C) 알고리즘을 사용해 정책 네트워크를 사전 학습한다.
• 불균형 비율 ρ에 맞게 조정된 요소 δ를 사용해 다수 클래스 샘플의 보상을 스케일링하는 맞춤형 보상 함수를 도입한다.
• A2C 정책을 반복적으로 개선하기 위해 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 적용하며, 신경망의 가치 추정치를 트리 확장 및 선택의 가이드로 사용한다.
• A2C 가치 네트워크를 트리 노드 선택의 히우리스틱으로 사용하여 효율적인 가지치기와 더 빠른 수렴을 가능하게 한다.
• A2C 사전 학습과 MCTS를 조합하여 안정적이고 높은 성능을 보이며 해석 가능한 특성 선택 정책을 달성한다.

Figure 1: The partially shared neural network

실험 결과

연구 질문

• RQ1 딥 강화학습 접근법이 실세계 상황에서 분류 정확도와 특성 확보 비용을 효과적으로 균형 있게 조절할 수 있는가?
• RQ2 A2C와 MCTS를 통합할 경우 A2C만으로 학습한 정책이 비용이 드는 특성 선택에서 어떻게 향상되는가?
• RQ3 비용이 드는 특성 확보 맥락에서 비균형 데이터셋에서 뛰어난 성능을 내기 위해 어떤 보상 함수 설계가 가능한가?
• RQ4 기존 방법인 DQN, Adapt-Gbrt, BudgetPrune와 비교할 때 정확도와 비용 효율성 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 A2C+MCTS 프레임워크는 Q-학습 기반 기준과 비교해 불완전하거나 비균형 데이터에서 얼마나 높은 성능을 유지하는가?

주요 결과

• 균형 잡힌 데이터셋에서 A2C+MCTS는 DQN과 Adapt-Gbrt보다 높은 정확도를 달성하면서도 유사한 비용 예산을 유지한다. 20% 비용에서 Cir 데이터셋에서 G-mean 점수는 0.85 (9.3), Rng 데이터셋에서 0.88 (9.3)을 기록한다.
• 비균형 잡힌 데이터셋에서 A2C+MCTS는 DQN과 Adapt-Gbrt를 능가하며, 5% 비용에서 Cir 데이터셋에서 G-mean 점수 0.65 (6.1)를 기록한다. 이는 DQN과 Adapt-Gbrt가 수렴하지 못하거나 성능이 크게 떨어지는 상황이다.
• 절단 실험 결과 MCTS가 A2C 정책을 크게 향상시킴을 확인하였으며, Cir 데이터셋에서 G-mean 점수는 0.57 (8.5)에서 0.65 (6.1)으로, Pid 데이터셋에서는 0.63 (4.2)에서 0.79 (3.4)로 향상되었다.
• A2C 가치 네트워크를 가이드로 사용할 경우 MCTS 탐색 시간은 주로 수십만 배 빠르게 나타나, 신경망이 가지치기 히우리스틱으로 효과적임을 입증한다.
• 보상 스케일링 요소 δ가 불균형 비율 ρ보다 略적으로 낮을 때 최적의 성능을 달성함을 확인하였으며, 이는 소수 클래스의 영향을 약간 증가시키는 것이 G-mean 점수 향상에 유리하다는 것을 시사한다.
• 작은 특성 수의 부분집합을 사용하여 DNN 및 RF 수준의 높은 정확도를 달성하면서도 특성 수를 크게 줄여 비용 효율성을 입증하였다.

Figure 2: The system diagram of RL and MCTS