[논문 리뷰] A Rigorous Information-Theoretic Definition of Redundancy and Relevancy in Feature Selection Based on (Partial) Information Decomposition

Patricia Wollstadt, Sebastian Schmitt외 1명|arXiv (Cornell University)|2021. 05. 10.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 부분 정보 분해(PID)를 사용하여 특성 선택을 위한 엄밀한 정보이론적 프레임워크를 제안하며, 고유, 중복 및 상호작용 정보 기여의 관점에서 재현성과 관련성을 정의한다. CMI 기반의 반복적 전진 선택 알고리즘을 제안하여 재현성을 최소화하고 관련성을 최대화하며, 통계적으로 검증된 정지 기준을 통해 벤치마크 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Selecting a minimal feature set that is maximally informative about a target variable is a central task in machine learning and statistics. Information theory provides a powerful framework for formulating feature selection algorithms -- yet, a rigorous, information-theoretic definition of feature relevancy, which accounts for feature interactions such as redundant and synergistic contributions, is still missing. We argue that this lack is inherent to classical information theory which does not provide measures to decompose the information a set of variables provides about a target into unique, redundant, and synergistic contributions. Such a decomposition has been introduced only recently by the partial information decomposition (PID) framework. Using PID, we clarify why feature selection is a conceptually difficult problem when approached using information theory and provide a novel definition of feature relevancy and redundancy in PID terms. From this definition, we show that the conditional mutual information (CMI) maximizes relevancy while minimizing redundancy and propose an iterative, CMI-based algorithm for practical feature selection. We demonstrate the power of our CMI-based algorithm in comparison to the unconditional mutual information on benchmark examples and provide corresponding PID estimates to highlight how PID allows to quantify information contribution of features and their interactions in feature-selection problems.

연구 동기 및 목표

• 특성 선택에서 정보이론적으로 특성 관련성, 재현성, 상호작용을 엄밀히 정의하는 데 있어 개념적 격차를 해소하기 위해.
• 기존 정보이론적 특성 선택 방법이 특성 간 상호작용을 고려하지 못하는 이유를 명확히 하기 위해.
• 부분정보분해(PID)를 활용하여 정보이론적으로 기반을 두고 특성 관련성과 재현성을 새롭게 정의하기 위해.
• 통계적 유의성 검증을 통한 자동 정지 기능을 갖춘 실용적인 반복적 CMI 기반 전진 특성 선택 알고리즘을 제안하기 위해.
• 제안된 알고리즘이 벤치마크 데이터셋에서 MI 기반 및 모델 기반 접근법(LARS, 랜덤 포레스트)과 비교하여 효과적으로 작동하는지 확인하기 위해.

제안 방법

• 특성 집합이 타겟에 제공하는 정보를 고유, 중복, 상호작용 성분으로 분해하기 위해 부분정보분해(PID)를 사용한다.
• 특성 관련성을 고유 및 상호작용 정보 기여를 최대화하고 중복 기여를 최소화하는 것으로 정의한다.
• 기존 집합에 대해 조건부 상호정보(CMI)가 가장 높은 특성을 순차적으로 추가하는 CMI 기반의 반복적 전진 선택 알고리즘을 제안한다.
• 가족별 오류율을 최대 통계량 방법을 통해 제어하기 위해, 서로가 없는 데이터를 사용한 비모수적 통계 검정 절차를 적용한다.
• 최소한의 특성 집합 선택을 보장하기 위해 서로서이 CMI 추정치의 최소값을 이용한 후진 제거 단계를 적용한다.
• 순열 기반의 서로서이 데이터 생성 방식을 사용하여 근본가설 하에서 근본적인 연관성을 파괴하면서도 개별 분포를 유지한다.

실험 결과

연구 질문

• RQ1 정보이론을 활용하여 특성 선택에서 재현성과 관련성을 어떻게 엄밀히 정의할 수 있는가?
• RQ2 기존 정보이론적 접근법이 특성 간 상호작용을 포착하지 못하는 이유는 무엇인가?
• RQ3 CMI 기반 특성 선택 알고리즘이 재현성을 명시적으로 최소화함으로써 MI 기반 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 알고리즘은 어떻게 최소화된 통계적으로 유의미한 특성 집합을 확보하는가?
• RQ5 PID 기반 측정치는 특성의 고유, 중복, 상호작용 역할을 얼마나 정확히 정량화할 수 있는가?

주요 결과

• 50개 변수와 N=1000 샘플을 가진 문제에서 CMI 기반 알고리즘이 10개의 관련 특성 중 5개를 정확히 식별했으며, N=50,000의 더 큰 샘플에서는 10개 중 9개를 식별했다.
• 작은 샘플 크기(N=100)에서는 통계적 검정력 부족으로 조기 정지가 발생하여 거짓 음성 비율이 높아졌지만, 거짓 양성 비율은 0.05 유의수준 이하로 유지되었다.
• 서로가 없는 데이터와 최대 통계량 방법을 사용함으로써, 순차적 특성 선택 과정에서 다중 검정 반복 동안 가족별 오류율이 효과적으로 제어되었다.
• PID 추정치는 CMI 기반 선택이 정보 원소를 한 번만 커버함을 보여주어 중복 커버리지를 방지하고 고차원 상호작용을 포착할 수 있었다.
• 특성 간 중복 또는 상호작용이 존재할 경우, CMI 기반 접근법이 무조건적 상호정보(MI)보다 관련 특성을 더 잘 식별하는 것으로 나타났다.
• 샘플 크기가 증가함에 따라 성능이 크게 향상됨에 따라, 대규모 문제에 대해서도 알고리즘이 강인하고 신뢰할 수 있었다.