[논문 리뷰] Learning to Maximize Mutual Information for Dynamic Feature Selection

Ian Covert, Wei Qiu외 4명|arXiv (Cornell University)|2023. 01. 02.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 표적 변수와의 조건부 상호정보량(CMI) 기반으로 탐욕적으로 특징을 선택하는 동적 특징 선택(DFS)을 위한 미분 가능하고 암시적 최적화 방법을 제안한다. 탐욕스러운 CMI 정책을 변분 최적화 문제로 공식화하고, Concrete 분포를 통한 연속적 근사화를 통해, 표준 레이블이 부여된 데이터셋에서 엔드 투 엔드 학습이 가능하게 하여, 다양한 벤치마크에서 기존의 정적 및 동적 특징 선택 방법들을 능가한다.

ABSTRACT

Feature selection helps reduce data acquisition costs in ML, but the standard approach is to train models with static feature subsets. Here, we consider the dynamic feature selection (DFS) problem where a model sequentially queries features based on the presently available information. DFS is often addressed with reinforcement learning, but we explore a simpler approach of greedily selecting features based on their conditional mutual information. This method is theoretically appealing but requires oracle access to the data distribution, so we develop a learning approach based on amortized optimization. The proposed method is shown to recover the greedy policy when trained to optimality, and it outperforms numerous existing feature selection methods in our experiments, thus validating it as a simple but powerful approach for this problem.

연구 동기 및 목표

• 특정 정보를 바탕으로 특징이 순차적으로 확보되는 동적 특징 선택(DFS) 문제를 해결하기 위해.
• 탐욕스러운 CMI 기반 선택에 필요한 정확한 조건부 상호정보량(CMI) 계산을 위한 오라클 접근이 불가능한 문제를 해결하기 위해.
• 학습이 어려우며 종종 성능이 열 劣한 강화학습 기반 DFS 방법의 실용적이고 학습 가능한 대안을 개발하기 위해.
• 전문가 지시나 복잡한 생성 모델링 없이도 표준 레이블이 부여된 데이터만으로 특징 선택 정책의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 학습이 수렴할 때 학습된 정책이 이론적으로 최적의 탐욕스러운 CMI 정책을 복원함을 검증하여 이론적 타당성을 확보하기 위해.

제안 방법

• 탐욕스러운 CMI 정책을 변분 최적화 문제로 공식화하여, 최적의 분류기로 한 단계 앞선 예측 손실을 최소화하는 것과 동치임을 보였다.
• 정책 네트워크가 표준 레이블이 부여된 데이터셋만을 사용하여 다음으로 선택할 특징을 직접 예측하도록, 암시적 최적화 프레임워크를 도입하였다.
• Concrete 분포를 통한 연속적 근사화를 통해 이산적 특징 선택 결정에 대한 미분 가능하고 기울기 기반 최적화를 가능하게 하였다.
• 정책과 예측 네트워크를 함께 훈련시키며, 손실 함수의 전역 최소화점이 정확히 탐욕스러운 CMI 정책과 일치하도록 하였다.
• 그룹 행렬을 통해 마스크 투영을 수정함으로써 특징 그룹화를 지원하여, 원-핫 인코딩된 범주형 특징에의 적용을 가능하게 하였다.
• 아키텍처에 종속되지 않으며, 표준 딥러닝 컴포넌트를 사용하여 테이블형, 이미지 및 기타 데이터 모odal리티에 적용 가능하다.

실험 결과

연구 질문

• RQ1 학습 가능한 정책이 실질적으로 이론적으로 최적의 탐욕스러운 조건부 상호정보량(CMI) 특징 선택 정책을 복원할 수 있는가?
• RQ2 제안된 암시적이고 미분 가능한 특징 선택 방법의 성능은 기존의 정적 및 동적 특징 선택 기준선과 비교해 어떻게 되는가?
• RQ3 다양한 데이터 유형, 특히 테이블형 데이터와 이미지 패치에서, 다양한 특징 예산 제약 조건 하에서도 일반화가 가능한가?
• RQ4 학습된 정책이 동적 환경에서 요구하는 바와 같이, 샘플마다 다른 특징을 적응적으로 선택하는 데 얼마나 잘 적응하는가?
• RQ5 제안된 방법이 특징 그룹화와 원-핫 인코딩된 범주형 특징에 대해 얼마나 강인한가?

주요 결과

• 제안된 방법은 여섯 개인 테이블형 데이터셋과 두 개인 비전 데이터셋(MNIST, CIFAR-10)에서 최근의 수많은 정적 및 동적 특징 선택 방법들을 능가하여 최신 기술 수준의 성능을 달성하였다.
• 세 가지 응급의료 진단 과제에서, 8개의 특징 예산으로 AUROC 점수가 0.975를 기록하여, 동일한 예산에서 SAGE(0.883)와 DeepLift(0.869) 등의 기준선을 크게 능가하였다.
• 당뇨병 데이터셋에서 AUROC 0.973, 유체 데이터셋에서 AUROC 0.975를 기록하여 강력한 일반화 성능을 입증하였다.
• 특징 선택 빈도 히트맵 분석 결과, 모델이 샘플 간에 다른 특징을 선택하는 것으로 나타나, 동적이고 맥락 기반의 행동을 확인하였다.
• 제거 실험(Ablation study) 결과, 핵심 구성 요소(예: Concrete 근사화 또는 암시적 정책)를 제거할 경우 성능 저하가 심각하게 발생하여, 설계 선택의 타당성을 검증하였다.
• CIFAR-10에 대한 정성적 결과에서는, 정책이 정보량 기반 예측에 따라 구조적이고 적응적인 방식으로 정보가 많은 이미지 패치를 선택하는 것을 보였다. 일반적으로 수직 스트라이프에 집중하는 경향을 보였다.