[논문 리뷰] Higher Order Mutual Information Approximation for Feature Selection

Jilin Wu, Soumyajit Gupta외 1명|arXiv (Cornell University)|2016. 12. 02.

Face and Expression Recognition참고 문헌 21인용 수 3

한 줄 요약

이 논문은 정보이론적 방법인 고차수 특징 선택(HOFS)을 제안하며, 증분 ICA를 사용해 고차수 상호정보량을 근사함으로써 상호보완적인 특징 조합을 탐지할 수 있도록 기존의 일차 근사에 의존하지 않고 특징 선택을 향상시킨다. HOFS는 계산 복잡도가 유사한 기존 방법들과 비교해도 상호의존적인 특징 관계를 더 잘 포착함으로써 성능을 뛰어나게 한다.

ABSTRACT

Feature selection is a process of choosing a subset of relevant features so that the quality of prediction models can be improved. An extensive body of work exists on information-theoretic feature selection, based on maximizing Mutual Information (MI) between subsets of features and class labels. The prior methods use a lower order approximation, by treating the joint entropy as a summation of several single variable entropies. This leads to locally optimal selections and misses multi-way feature combinations. We present a higher order MI based approximation technique called Higher Order Feature Selection (HOFS). Instead of producing a single list of features, our method produces a ranked collection of feature subsets that maximizes MI, giving better comprehension (feature ranking) as to which features work best together when selected, due to their underlying interdependent structure. Our experiments demonstrate that the proposed method performs better than existing feature selection approaches while keeping similar running times and computational complexity.

연구 동기 및 목표

• 기존 특징 선택 방법에서 일차 상호정보량 근사의 한계를 해결함으로써 다중 특징 상호작용을 포착하지 못하는 문제를 해결한다.
• 단일 특징이 아닌, 클래스 레이블과 함께 상호정보량을 최대화하는 특징 조합을 식별하는 방법을 개발한다.
• 최신 기법들과 유사한 계산 효율성을 유지하면서도 모델의 해석 가능성과 예측 정확도를 향상시킨다.
• 실세계 특징 선택 시나리오에서 이원적 데이터 유형(수치형 및 비수치형 특징)을 효과적으로 처리한다.
• 모든 특징 조합의 집합적 정보 기여도를 순위 매김함으로써 특징 의존성에 대한 보다 포괄적인 이해를 제공한다.

제안 방법

• HOFS는 증분 독립성 분석(ICA)을 사용해 고차수 상호정보량을 근사함으로써 특징 간의 복잡한 상호의존성을 포착한다.
• 일차 근사에서 특징의 독립성을 가정하는 것과는 달리, HOFS는 특징 공간의 ICA 기반 분해를 통해 공동 엔트로피를 모델링한다.
• 탐욕적 선택 전략을 사용해 클래스 레이블과의 상호정보량을 최대화하는 방식으로 특징 조합을 점진적으로 구성한다.
• 전역 상호정보량 기여도 기반으로 특징 조합을 순위 매겨 상호보완적인 조합이 개별 특징을 초월하는 성능을 보이는지를 식별할 수 있다.
• 알고리즘은 ICA를 통합해 특징의 공동 분포를 추정함으로써 정확한 고차수 상호정보량 계산의 계산 비용 문제를 피한다.
• HOFS는 기존 필터 기반 방법과 유사한 시간 복잡도를 가지며, 고차원 데이터셋에 대한 확장성 확보를 위해 계산 효율성이 뛰어나도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 고차수 상호정보량 근사가 특징 간 상호보완적 상호작용을 포착함으로써 특징 선택 성능을 향상시킬 수 있는가?
• RQ2 특징 간 상관관계나 중복이 존재하는 경우, HOFS는 일차 상호정보량 기반 방법과 비교해 관련 특징 조합을 얼마나 잘 식별하는가?
• RQ3 혼합 수치형 및 비수치형 특징을 포함한 이원적 데이터셋을 효과적으로 처리하면서도 기존 특징의 구조를 유지할 수 있는가?
• RQ4 고차수 의존성을 모델링함에도 불구하고, 기존 방법들과 유사한 계산 효율성을 유지하는가?
• RQ5 HOFS는 특징 조합이 예측에 공동 기여하는 방식을 드러내어 모델의 해석 가능성에 얼마나 기여하는가?

주요 결과

• HOFS는 클래스 레이블과 함께 상호정보량을 최대화하는 특징 조합을 성공적으로 식별하여, 복잡한 의존성을 포착하는 데 있어 일차 상호정보량 기반 방법을 능가한다.
• 상관관계 및 중복 특징이 포함된 시뮬레이션 데이터에서, HOFS는 {F₁, F₆, F₂, F₇}와 {F₉, F₄, F₁₄, F₁₀, F₅, F₁₅}와 같은 특징 그룹을 정확히 식별하여 실제 구조를 반영한다.
• 비선형성 및 이원적 조건에서 실패하는 VMI와는 달리, HOFS는 특징이 편향되거나 노이즈가 있을 경우에도 강건한 성능 유지를 보이며 정보가 많은 특징 그룹을 정확히 식별한다.
• HOFS는 기준 방법들과 비슷한 실행 시간과 계산 복잡도를 유지하면서도 더 뛰어난 예측 성능을 달성한다.
• 비수치형 특징을 효과적으로 처리하며, 시뮬레이션 데이터에서 특징 그룹화에 기반한 클래스 레이블의 정확한 분리가 가능함을 통해 구조적 관계를 유지함을 입증한다.
• 이원적 시뮬레이션 모델에서 HOFS는 상위 특징 조합이 높은 정보 기여도를 보이는 순위 목록을 생성하며, 첫 번째 조합은 약 0.110의 전역 상호정보량 기여도를 기록하여 지표값과 매우 유사한 결과를 도출한다.