[논문 리뷰] Active Feature Acquisition with Generative Surrogate Models

Yang Li, Junier B. Oliva|arXiv (Cornell University)|2020. 10. 06.

Time Series Analysis and Forecasting참고 문헌 42인용 수 8

한 줄 요약

이 논문은 강화학습을 위한 생성적 서rogate 모델(GSMRL)을 제안한다. 이는 모델 기반의 능동적 특성 확보(AFA) 프레임워크로, 생성적 서rogate 모델을 사용해 특성 간 의존성을 추정하고, 중간 보상을 제공하며, 효율적인 의사결정을 위한 보조 정보를 제공한다. 이 방법은 예측 정확도를 향상시키면서도 확보 비용을 최소화함으로써, 감독 및 비감독 AFA 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Many real-world situations allow for the acquisition of additional relevant information when making an assessment with limited or uncertain data. However, traditional ML approaches either require all features to be acquired beforehand or regard part of them as missing data that cannot be acquired. In this work, we consider models that perform active feature acquisition (AFA) and query the environment for unobserved features to improve the prediction assessments at evaluation time. Our work reformulates the Markov decision process (MDP) that underlies the AFA problem as a generative modeling task and optimizes a policy via a novel model-based approach. We propose learning a generative surrogate model (GSM) that captures the dependencies among input features to assess potential information gain from acquisitions. The GSM is leveraged to provide intermediate rewards and auxiliary information to aid the agent navigate a complicated high-dimensional action space and sparse rewards. Furthermore, we extend AFA in a task we coin active instance recognition (AIR) for the unsupervised case where the target variables are the unobserved features themselves and the goal is to collect information for a particular instance in a cost-efficient way. Empirical results demonstrate that our approach achieves considerably better performance than previous state of the art methods on both supervised and unsupervised tasks.

연구 동기 및 목표

• 추론 시점에 완전한 특성 집합을 가정하는 전통적 기계학습 모델의 한계를 해결하기 위해, 특성이 동적으로 확보될 수 있는 실세계 상황을 반영한다.
• 각 인스턴스에 대해 가장 정보가 많은 특성을 동적으로 선택함으로써 예측 성능와 확보 비용을 균형 잡는 강화학습 기반의 능동적 특성 확보(AFA) 프레임워크를 개발한다.
• 목표가 타깃 레이블 예측이 아니라 관측되지 않은 특성 자체를 복원하는 것인, 새로운 비감독 AFA 작업인 능동적 인스턴스 인식(AIR)을 제안한다.
• 생성적 서rogate 모델을 사용해 중간 보상과 불확실성 추정, 기대 정보량 증가 등의 보조 정보를 제공함으로써 AFA의 샘플 효율성과 신용 할당을 향상시킨다.

제안 방법

• AFA 문제를 마르코프 결정 과정(MDP)으로 재정의하여, 상태는 관측된 특성의 집합이고, 행동은 다음으로 확보할 특성을 선택하거나 프로세스를 종료하는 것이다.
• 관측된 특성 x_o에 대해 관측되지 않은 특성 x_j에 대한 조건부 확률 p(x_j | x_o)를 모델링함으로써 특성 간 조건부 의존성을 포괄하는 생성적 서rogate 모델(GSM)을 학습한다.
• GSM을 사용해 특성을 확보함으로써 기대 정보량 증가를 기반으로 중간 보상을 계산함으로써 보상 희박성 문제를 완화하고 장기적인 에피소드에서의 신용 할당을 향상시킨다.
• 관측되지 않은 특성에 대한 불확실성 추정, 향후 기대 정보량 증가, 타깃 출력의 불확실성과 같은 보조 정보를 제공하여 에이전트의 탐색 및 의사결정을 안내한다.
• 모델-프리 강화학습(PPO 등)과 GSM을 통한 모델 기반 계획을 결합하여, 합성 트래잭토리 생성 및 의미적 임베딩을 통해 효율적인 정책 학습을 가능하게 한다.
• 동일한 생성 모델링 및 보상 메커니즘을 사용하여 비감독 AFA로의 확장을 통해 능동적 인스턴스 인식(AIR)을 구현함으로써, 타깃 레이블 예측이 아닌 손실된 특성의 재구성 목표를 달성한다.

실험 결과

연구 질문

• RQ1 생성적 서rogate 모델이 고차원적이고 보상이 희박한 환경에서 특성 간 의존성을 효과적으로 추정하여 능동적 특성 확보를 안내할 수 있는가?
• RQ2 서rogate 모델로부터 제공되는 중간 보상과 보조 정보가 AFA에서 정책 학습의 효율성과 성능을 크게 향상시키는가?
• RQ3 예측 정확도와 비용 효율성 측면에서, 인스턴스별 순서에 따라 특성을 선택하는 동적 확보 정책과 고정 순서로 확보하는 정적 정책은 어떻게 비교되는가?
• RQ4 제안된 프레임워크가 타깃 레이블 예측이 아닌 손실된 특성을 복원하는 것을 목표로 하는 비감독 AFA 작업, 예를 들어 능동적 인스턴스 인식(AIR)으로 일반화될 수 있는가?
• RQ5 모델 기반과 모델 프리 강화학습의 통합이 순수하게 모델 기반 또는 모델 프리 기반 기준 대비 수렴 속도와 최종 성능 향상에 얼마나 기여하는가?

주요 결과

• GSMRL 모델은 감독 및 비감독 AFA 작업 모두에서 최신 기술 수준의 방법들을 능가하며, 더 낮은 확보 비용으로 훨씬 높은 예측 정확도를 달성한다.
• 제거 실험 결과, 중간 보상이나 보조 정보를 제거할 경우 성능에 심각한 하락이 발생함을 확인하여, 이들이 정책 학습에서 핵심적인 역할을 한다는 것을 입증한다.
• 중간 보상과 보조 정보를 모두 포함한 완전한 GSMRL 모델는 서rogate 모델이 없는 모델 대비 더 빠르게 수렴하고, 더 매끄럽고 높은 학습 보상 수준을 달성한다.
• 각 인스턴스에 맞춰 특성 선택을 동적으로 조정하는 동적 확보 정책은 모든 인스턴스에 동일한 순서로 특성을 확보하는 정적 정책보다 일관되게 뛰어난 성능을 보인다.
• 종료 행동을 포함함으로써 에이전트는 특성 확보를 중단할 적절한 시점을 지능적으로 결정할 수 있었으며, 모든 확보 예산에서 강제 예산 기반 그레디 정책보다 더 뛰어난 성능을 보였다.
• 합성 트래잭토리와 서rogate 모델에서 유도된 임베딩을 사용한 모델 기반 접근 방식은 다른 모델 기반 기준 대비 뛰어난 성능을 보이며, 제안된 GSM 설계의 우수성을 입증한다.