[논문 리뷰] Variational Information Maximization for Feature Selection

Shuyang Gao, Greg Ver Steeg외 1명|arXiv (Cornell University)|2016. 06. 09.

Face and Expression Recognition참고 문헌 24인용 수 37

한 줄 요약

이 논문은 직접적인 상호정보량 추정의 비가역성 문제를 해결하기 위해 상호정보량의 다루기 쉬운 하한을 사용하는 새로운 변분 정보 최대화 프레임워크를 제안한다. 변분 분포—특히 나이브 베이즈와 이원 조건부 Q-분포—를 활용하여 트리 구조 그래픽 모델 하에서 이론적으로 최적성 보장을 갖는 그레디언트 전진 특성 선택을 가능하게 하며, 다양한 데이터셋에서 기존의 정보 이론 기반 방법들을 능가하는 실험적 성능을 보인다.

ABSTRACT

Feature selection is one of the most fundamental problems in machine learning. An extensive body of work on information-theoretic feature selection exists which is based on maximizing mutual information between subsets of features and class labels. Practical methods are forced to rely on approximations due to the difficulty of estimating mutual information. We demonstrate that approximations made by existing methods are based on unrealistic assumptions. We formulate a more flexible and general class of assumptions based on variational distributions and use them to tractably generate lower bounds for mutual information. These bounds define a novel information-theoretic framework for feature selection, which we prove to be optimal under tree graphical models with proper choice of variational distributions. Our experiments demonstrate that the proposed method strongly outperforms existing information-theoretic feature selection approaches.

연구 동기 및 목표

• 특성 독립성과 클래스 조건부 독립성에 대한 상호 모순되는 가정에 의존하는 기존의 정보 이론 기반 특성 선택 방법의 한계를 해결하기 위해.
• 직접적인 상호정보량 추정의 비가역성 문제를 피하기 위해 변분 하한을 기반으로 한 다루기 쉬운 일반 목적의 특성 선택 프레임워크를 개발하기 위해.
• 적절한 변분 분포 선택을 통해 트리 구조 그래픽 모델 하에서 제안된 방법의 이론적 최적성 보장을 제공하기 위해.
• 기본 데이터셋에서 최신의 정보 이론 기반 특성 선택 접근법들에 비해 제안된 방법의 우수성을 실험적으로 검증하기 위해.

제안 방법

• 선택된 특성과 클래스 레이블 간의 상호정보량에 대한 변분 하한을 정식화하여 다루기 쉬운 최적화를 가능하게 한다.
• 순차적으로 변분 하한을 최대화함으로써 전진 특성 선택을 가능하게 하기 위해 자동재귀적 분해를 사용한다.
• 특정한 두 가지 변분 분포를 제안한다: 특성 간의 의존성을 모델링하기 위한 나이브 베이즈 모델과 이원 Q-분포.
• 각 새로운 특성이 변분 하한의 증가를 최대화하는 방식으로 선택되는 그레디언트 전진 선택 알고리즘을 유도한다.
• 전체 고차원 밀도 추정이 필요 없이 변분 분포 하에서의 엔트로피 근사치를 사용하여 목적 함수를 계산한다.
• 나이브 베이즈 모델이 진짜 조건부 의존성과 일치할 경우 트리 구조 그래픽 모델 하에서 전진 선택 절차가 이론적으로 최적임을 엄밀히 증명한다.

실험 결과

연구 질문

• RQ1 상호정보량에 대한 변분 하한을 사용하여 이론적으로 타당하고 계산적으로 다루기 쉬운 특성 선택 프레임워크를 구성할 수 있는가?
• RQ2 기존의 MI 기반 특성 선택 방법에서 흔히 사용되는 독립성 가정은 상호 모순되며, 만약 그렇다면 어떻게 완화할 수 있는가?
• RQ3 제안된 변분 프레임워크는 실제 세계 데이터셋에서 기존의 정보 이론 기반 특성 선택 방법보다 더 우수한 성능을 달성하는가?
• RQ4 어떤 조건에서 변분 하한에 기반한 그레디언트 전진 선택이 증명적으로 최적인가?

주요 결과

• 제안된 VMI 방법, 특히 VMIpairwise 변종은 15개의 기준 데이터셋에서 평균 교차검증 오차가 가장 낮게 나타나, mRMR, JMI, CMIM, CIFE를 포함한 모든 베이스라인들을 능가한다.
• 나이브 베이즈 모델만을 가정하는 VMInaive도 최신 기술 수준의 성능을 달성하여, 최소한의 구조적 가정 하에서도 변분 프레임워크의 효과성을 입증한다.
• Gisette 데이터셋에서 VMIpairwise는 평균 오차율 4.2±0.8%를 기록하여 다음으로 우수한 방법인 VMInaive(4.8±0.9%)보다 유의미하게 낮고, CIFE(7.1±1.3%)보다도 뚜렷이 뛰어나다.
• Madelon 데이터셋에서 VMIpairwise는 16.6±2.9%의 오차율을 기록했고, mRMR는 30.8±3.8%, JMI는 15.3±2.6%였으며, 이는 고차원이고 노이즈가 많은 데이터에서 강력한 성능을 보임을 시사한다.
• Colon, Leukemia, Landsat와 같은 고차원, 저표본, 불균형 데이터셋을 포함한 다양한 데이터 유형에서 일관된 슈퍼리어티를 보여준다.
• 적절한 변분 분포 선택이 이루어질 경우 트리 구조 그래픽 모델 하에서 이론적 최적성 보장을 제공하는 프레임워크는 이전의 정보 이론 기반 방법들에서는 관찰되지 않는 특성이다.