[논문 리뷰] Feature Selection Using Reinforcement Learning

Rasoul Sali, Sodiq Adewole외 1명|arXiv (Cornell University)|2021. 01. 23.

Evolutionary Algorithms and Applications참고 문헌 12인용 수 9

한 줄 요약

이 논문은 예측 정확도를 최대화하기 위해 특징을 순차적으로 선택하는 강화학습(RL) 접근법을 제안한다. 이는 특징 선택 문제를 마코프 결정 과정(MDP)으로 모델링한 것으로, 에이전트는 상태 공간을 탐색하면서 정확도를 극대화하는 데 초점을 맞춘다. 시간 차분(TD) 학습 알고리즘을 사용하고, 에이전트는 에psilon-greedy 전략을 통해 탐색과 이용의 균형을 유지하며, 보수적이고 저비용인 분류기로 보상 평가를 수행한다. 이 방법은 특징 공간을 효율적으로 탐색하면서도 기존의 필터 및 워퍼 방법보다 뛰어난 성능을 보이며, 오스트레일리안 데이터셋에서 85.55%의 정확도를 달성한다.

ABSTRACT

With the decreasing cost of data collection, the space of variables or features that can be used to characterize a particular predictor of interest continues to grow exponentially. Therefore, identifying the most characterizing features that minimizes the variance without jeopardizing the bias of our models is critical to successfully training a machine learning model. In addition, identifying such features is critical for interpretability, prediction accuracy and optimal computation cost. While statistical methods such as subset selection, shrinkage, dimensionality reduction have been applied in selecting the best set of features, some other approaches in literature have approached feature selection task as a search problem where each state in the search space is a possible feature subset. In this paper, we solved the feature selection problem using Reinforcement Learning. Formulating the state space as a Markov Decision Process (MDP), we used Temporal Difference (TD) algorithm to select the best subset of features. Each state was evaluated using a robust and low cost classifier algorithm which could handle any non-linearities in the dataset.

연구 동기 및 목표

• 고차원 데이터의 증가하는 도전에 대응하기 위해 편향과 분산을 최소화하는 최적의 특징 부분집합을 선택하는 것.
• 필터 기반 점수 평가(특징 간 의존성 忽시)와 워퍼 방법(높은 계산 비용)의 한계를 극복하는 것.
• 강화학습을 활용해 특징 선택을 순차적 결정 문제로 재구성함으로써 특징 부분집합의 효율적 탐색과 이용을 가능하게 하는 것.
• RL 기반 특징 선택 전략을 통해 모델의 해석 가능성, 예측 정확도 및 계산 효율성을 향상시키는 것.
• 다양한 크기의 특징 공간을 가진 데이터셋에서 표준 필터 및 워퍼 방법과의 성능 비교를 수행하는 것.

제안 방법

• 특징 선택 문제는 각 상태가 선택된 특징의 부분집합을 나타내는 마코프 결정 과정(MDP)으로 모델링된다.
• 행동는 현재 부분집합에 아직 선택되지 않은 특징 하나를 추가하는 것으로, 특징이 추가될수록 행동 공간은 동적으로 감소한다.
• 시간 차분(TD) 학습 알고리즘은 연속된 상태 간의 분류 정확도 차이를 기반으로 상태 값이 갱신되며, 보상 평가를 위해 보수적이고 저비용인 분류기를 사용한다.
• 에psilon-greedy 전략은 탐색과 이용의 균형을 유지한다: 첫 방문 시 무작위 행동을 취하고, 이후 방문 시 누적된 결과 보상(AOR 테이블 기반)에 따라 탐욕적 행동을 선택한다.
• 에이전트는 에피소드를 거치며 특징을 순차적으로 추가하고 AOR 테이블을 갱신하며, 모든 특징이 포함되거나 정지 조건이 충족될 때까지 진행된다.
• 이 방법은 하이브리드 탐색 단계를 통합하여, 새로운 노드에 도달할 경우 무작위 선택으로 전환함으로써 특징 선택의 다양성을 유지한다.

실험 결과

연구 질문

• RQ1 강화학습이 의미 있는 상태 공간과 행동 공간을 갖는 순차적 결정 문제로 특징 선택을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 RL 기반 특징 선택 방법은 기존의 필터 및 워퍼 방법과 비교해 정확도와 효율성 면에서 어떻게 성능을 내는가?
• RQ3 AOR 기반 값 갱신과 함께 사용하는 에psilon-greedy 전략이 특징 부분집합 선택에서 탐색과 수렴성 향상에 얼마나 기여하는가?
• RQ4 다양한 수의 특징과 샘플을 가진 데이터셋에서 이 RL 기반 접근법의 확장성은 어느 정도인가?
• RQ5 완전한 탐색 없이도 RL 에이전트가 일관되게 고성능 특징 부분집합을 선택할 수 있는 정책을 학습할 수 있는가?

주요 결과

• RL 기반 방법은 오스트레일리안 데이터셋에서 85.55% ± 0.039의 분류 정확도를 달성하여 표준 필터 및 워퍼 기반 베이스라인을 초월했다.
• 유방암 웨일링턴(예후) 데이터셋에서 이 방법은 76.29% ± 0.007의 정확도를 기록하여 중간 크기의 특징 공간에서도 뛰어난 성능을 보였다.
• 60개의 특징을 가진 커넥티스트 벤치 데이터셋에서 이 방법은 73.69% ± 0.108의 정확도를 달성하여 더 큰 특징 집합으로의 확장성도 입증했다.
• 에psilon 값 증가 시 상태 방문 빈도가 증가하여, 에psilon-greedy 전략이 효과적인 탐색 제어 수 Mittel로 확인되었다.
• 오스트레일리안 데이터셋에서 50번째 에피소드까지 상태 값 함수는 약 3.5로 최대에 도달했으며, 이는 시간이 지남에 따라 학습 진행이 이루어졌음을 시사한다.
• 비교 성능 플롯을 통해 이 RL 에이전트는 필터 기반 방법보다 뛰어난 특징 순위 매기기 정확도를 보였다.