[논문 리뷰] AutoFS: Automated Feature Selection via Diversity-aware Interactive Reinforcement Learning

Wei Fan, Kunpeng Liu외 4명|arXiv (Cornell University)|2020. 08. 27.

Evolutionary Algorithms and Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 다양한 숙련된 트레이너—K-Best 및 의사결정트리 기반 트레이너—를 다중 에이gent 강화학습 환경에 통합함으로써 자동 특성 선택에서 효과성과 효율성을 균형 잡는 상호작용형 강화학습 프레임워크인 AutoFS를 제안한다. 확실한 결정을 내리는 에이전트와 주저하는 에이전트를 식별하고 하이브리드 가르침 전략을 적용함으로써 AutoFS는 수렴 속도를 가속화하고 실제 데이터셋에서 전통적 및 강화된 기준 대비 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we study the problem of balancing effectiveness and efficiency in automated feature selection. Feature selection is a fundamental intelligence for machine learning and predictive analysis. After exploring many feature selection methods, we observe a computational dilemma: 1) traditional feature selection methods (e.g., mRMR) are mostly efficient, but difficult to identify the best subset; 2) the emerging reinforced feature selection methods automatically navigate feature space to explore the best subset, but are usually inefficient. Are automation and efficiency always apart from each other? Can we bridge the gap between effectiveness and efficiency under automation? Motivated by such a computational dilemma, this study is to develop a novel feature space navigation method. To that end, we propose an Interactive Reinforced Feature Selection (IRFS) framework that guides agents by not just self-exploration experience, but also diverse external skilled trainers to accelerate learning for feature exploration. Specifically, we formulate the feature selection problem into an interactive reinforcement learning framework. In this framework, we first model two trainers skilled at different searching strategies: (1) KBest based trainer; (2) Decision Tree based trainer. We then develop two strategies: (1) to identify assertive and hesitant agents to diversify agent training, and (2) to enable the two trainers to take the teaching role in different stages to fuse the experiences of the trainers and diversify teaching process. Such a hybrid teaching strategy can help agents to learn broader knowledge, and, thereafter, be more effective. Finally, we present extensive experiments on real-world datasets to demonstrate the improved performances of our method: more efficient than existing reinforced selection and more effective than classic selection.

연구 동기 및 목표

• 자신의 특성 선택에서 계산적 딜레마를 해결하기 위해 효과성(최적의 부분집합 발견)과 효율성(빠른 수렴)을 균형 잡는 것.
• 숙련된 트레이너로부터 외부 전문 지식을 통합함으로써 강화학습 기반 특성 선택의 샘플 효율성을 향상시키기 위해 노력한다.
• 다양한 에이전트(확실한 vs. 주저하는)를 선택하고 여러 트레이너의 상호보완적 강점을 활용하는 하이브리드 가르침 전략을 개발하기 위해 노력한다.
• 자기 탐색과 상호작용형, 다양한 교사 지도를 조합함으로써 빠른 수렴과 더 나은 특성 부분집합 품질을 달성할 수 있음을 입증하기 위해 노력한다.

제안 방법

• 각 에이전트가 선택/취소 행동을 취하는 특성 선택자를 나타내는 다수의 에이전트를 포함하는 상호작용 강화학습 문제로 특성 선택을 공식화한다.
• K-Best 기반 트레이너와 의사결정트리 기반 트레이너라는 두 가지 외부 트레이너를 도입하여 각각 전략별 맞춤 조언을 에이전트에게 제공한다.
• 결정에 확신이 있는 에이전트(확실한 에이전트)와 불확실한 에이전트(주저하는 에이전트)를 식별하고, 후자에게만 선택적으로 조언함으로써 학습 효율성을 향상시킨다.
• 다양한 지식을 융합하고 탐색을 향상시키기 위해 학습 단계에 따라 두 트레이너의 가르침 역할을 동적으로 할당하는 하이브리드 가르침 전략을 구현한다.
• 경험 재생 메모리 유닛을 사용하여 상태-행동-보상 전이를 저장하고, Adam 옵timizer를 사용하여 정책 네트워크를 훈련하며, ε-그리디 탐색 전략을 적용한다.
• 공정한 비교를 위해 기준 비교 방법 간의 비교를 위해 내림값으로 설정된 결정트리 분류기로 하류 작업을 고정한다.

실험 결과

연구 질문

• RQ1 외부의 숙련된 트레이너가 효과성을 희생시키지 않고 강화학습 기반 특성 선택의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 에이전트 선택(확실한 vs. 주저하는)과 다수의 트레이너를 통한 가르침 과정의 다양화가 학습 성능에 어떤 영향을 미치는가?
• RQ3 K-Best 및 의사결정트리 기반 지도를 융합한 하이브리드 가르침 전략이 단일 트레이너 또는 기준 강화학습 방법보다 우월한가?
• RQ4 상호작용 강화학습은 고성능 특성 부분집합을 찾기 위해 필요한 탐색 단계 수를 얼마나 줄일 수 있는가?

주요 결과

• 하이브리드 가르침 전략을 사용한 AutoFS는 네 개인실 세계 데이터셋에서 가장 높은 전체 최고 정확도를 달성하여 전통적 특성 선택 및 기본 강화된 특성 선택(MARLFS)을 모두 능가했다.
• K-Best 기반 트레이너와 의사결정트리 기반 트레이너 각각이 MARLFS보다 수렴 속도를 빠르게 했으며, 둘 다 1,500개의 탐색 단계 이내에 MARLFS보다 더 높은 정확도에 도달했다.
• 하이브리드 가르침 전략은 단일 트레이너를 사용한 경우보다 더 빠른 수렴과 더 나은 최종 성능을 보였으며, 상호보완적 전략의 지식 융합의 이점을 입증했다.
• 주저하는 에이전트에게 타겟팅된 조언을 활용함으로써 고성능 특성 부분집합을 식별하는 데 필요한 단계 수를 크게 줄였고, 이로 인해 학습 효율성이 향상되었다.