[논문 리뷰] Why Pay More When You Can Pay Less: A Joint Learning Framework for Active Feature Acquisition and Classification

Hajin Shim, Sung Ju Hwang외 1명|arXiv (Cornell University)|2017. 09. 18.

Machine Learning and Algorithms참고 문헌 19인용 수 8

한 줄 요약

이 논문은 강화학습(RL)과 분류를 결합한 공동 학습 프레임워크를 제안하며, 비용 효율적인 주도적 특성 수집을 위해 설계되었다. 여기서 RL 에이전트는 수집 비용을 최소화하면서 예측 정확도를 극대화하기 위해 특성을 순차적으로 선택한다. 이 방법은 순서에 무관한 LSTM 기반의 세트 인코딩 메커니즘을 사용하며, RL 에이전트와 분류기의 공동 학습을 통해 합성 및 실제 EHR 데이터셋에서 기존의 기준들보다 더 적은 특성으로 더 높은 AUC를 달성한다.

ABSTRACT

We consider the problem of active feature acquisition, where we sequentially select the subset of features in order to achieve the maximum prediction performance in the most cost-effective way. In this work, we formulate this active feature acquisition problem as a reinforcement learning problem, and provide a novel framework for jointly learning both the RL agent and the classifier (environment). We also introduce a more systematic way of encoding subsets of features that can properly handle innate challenge with missing entries in active feature acquisition problems, that uses the orderless LSTM-based set encoding mechanism that readily fits in the joint learning framework. We evaluate our model on a carefully designed synthetic dataset for the active feature acquisition as well as several real datasets such as electric health record (EHR) datasets, on which it outperforms all baselines in terms of prediction performance as well feature acquisition cost.

연구 동기 및 목표

• 예측 과정에서 특성을 수집하는 데 있어 비용 민감한 방식을 다루기 위해, 특히 데이터 수집이 비싼 의료 환경에서의 과제를 해결하기 위해.
• 예측 성능과 특성 수집 비용을 동시에 최적화하는 주도적 특성 수집 문제를 강화학습 문제로 재정의하기 위해.
• RL 에이전트와 분류기가 표현을 공유하는 통합 프레임워크를 설계하여, 사전 정의된 모델 없이 체계적이고 안정적인 학습을 가능하게 하기 위해.
• 특성의 누락과 변동하는 수집 비용을 처리하기 위해, 특성 순서에 영향을 받지 않는 특성을 유지하는 새로운 세트 인코딩 메커니즘을 통해.
• 합성 및 실제 세계의 EHR 데이터셋에서 프레임워크를 경험적으로 검증하여, 더 적은 특성 수집 비용으로도 뛰어난 성능을 보여주기 위해.

제안 방법

• 예측 손실과 수집 비용을 균형 잡기 위해 비용 민감한 정규화를 도입한 강화학습 문제로 주도적 특성 수집을 공식화한다.
• 특성 부분집합을 표현하기 위해 순서에 무관한 LSTM 기반 세트 인코더를 도입하여, 누락된 항목을 효과적으로 처리하고 공동 학습을 가능하게 한다.
• 실수값 특성 공간에서의 학습 안정성을 확보하기 위해, 리play 메모리와 지연된 타겟 업데이트를 사용한 DQN을 활용한다.
• 하위층 표현을 공유하는 다중 작업 딥 네트워크를 통해 RL 에이전트와 분류기를 공동으로 학습한다.
• 충분한 확신이 있을 경우 특성 수집을 조기에 종료할 수 있도록, null 동작(∅)을 액션 공간에 추가한다.
• 분류기의 예측 결과를 기반으로 RL 에이전트의 보상 신호를 형성하여, 특성 선택과 예측 성능 향상을 동시에 향상시키는 피드백 루프를 구축한다.

실험 결과

연구 질문

• RQ1 RL 에이전트와 분류기 간의 공동 학습 프레임워크가 순차적 또는 독립적 학습보다 비용 효율적인 특성 수집을 향상시킬 수 있는가?
• RQ2 예측 성능를 유지하면서도 엔드 투 엔드 학습이 가능한 방식으로, 누락되거나 불완전한 특성 집합을 효과적으로 인코딩할 수 있는가?
• RQ3 RL 에이전트와 분류기가 잠재 표현을 공유할 경우, 성능 향상과 더 효율적인 특성 수집이 이루어지는가?
• RQ4 제안된 프레임워크는 전체 특성 기반 모델보다 훨씬 적은 특성만을 사용하면서도 더 높은 예측 정확도를 달성할 수 있는가?
• RQ5 특성 수집 비용이 높은 의료 데이터셋, 예를 들어 EHR 데이터와 같은 실제 세계의 불균형 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 프레임워크는 원래 특성의 일부만 사용함에도 불구하고, EHR 데이터셋에서 전체 특성 MLP 모델과 유사한 AUC 점수를 달성한다.
• PhysioNet 2012 ICU 데이터셋에서 모델은 Glasgow Coma Scale(GCS), 혈중 요소 질소, 혈청 크레아티닌과 같은 임상적으로 유의미한 특성을 상위 우선순위로 선택하였다.
• 모든 기준 모델, DQN 전용 및 별도 학습 모델을 포함하여, 모든 기준 대비 특성 수집 비용을 크게 줄였으며, 예측 성능는 유지하거나 향상시켰다.
• 프레임워크 내의 수정된 RAM 변형은 더 적은 특성만을 수집하면서도 원래 RAM보다 정확도에서 뛰어난 성능을 보였으며, ∅ 동작과 보상 신호 형성의 유용성을 입증하였다.
• 공유된 표현을 통한 공동 학습은 RL 에이전트와 분류기를 별도로 학습시키는 것보다 더 뛰어난 성능을 보였으며, 정보 공유의 가치를 확인하였다.
• 기존의 기준들인 DWSC와 Q-only는 다수 클래스를 예측하는 데 실패했지만, 이 프레임워크는 EHR 데이터의 클래스 불균형 문제를 성공적으로 처리하였다.