[논문 리뷰] Feature Selection and Dualities in Maximum Entropy Discrimination

Tony Jebara, Tommi Jaakkola|arXiv (Cornell University)|2013. 01. 16.

Neural Networks and Applications참고 문헌 15인용 수 76

한 줄 요약

이 논문은 최대 엔트로피 분류기(MED) 프레임워크 내에서 특성 선택 방법을 제안하며, 선형 분류 및 회귀 성능을 향상시키기 위해 특성 선택을 분류기 정규화 기법으로 통합한다. MED 최적화의 이중성(duality)을 활용하여, 관측되지 않은 예제별 고정요소(invariants)를 다룰 수 있도록 관련 특성을 식별함으로써 기존 기준 방법에 비해 뚜렷한 실용적 향상을 보인다.

ABSTRACT

Incorporating feature selection into a classification or regression method often carries a number of advantages. In this paper we formalize feature selection specifically from a discriminative perspective of improving classification/regression accuracy. The feature selection method is developed as an extension to the recently proposed maximum entropy discrimination (MED) framework. We describe MED as a flexible (Bayesian) regularization approach that subsumes, e.g., support vector classification, regression and exponential family models. For brevity, we restrict ourselves primarily to feature selection in the context of linear classification/regression methods and demonstrate that the proposed approach indeed carries substantial improvements in practice. Moreover, we discuss and develop various extensions of feature selection, including the problem of dealing with example specific but unobserved degrees of freedom -- alignments or invariants.

연구 동기 및 목표

• 분류 및 회귀 정확도 향상을 위해 특성 선택을 분류기 기반 방법으로 체계화하는 것.
• 최대 엔트로피 분류기(MED) 프레임워크를 확장하여 베이지안 정규화 맥락 내에서 특성 선택을 통합하는 것.
• 특성 선택 과정에서 예제별로 관측되지 않는 자유도(예: 정렬, 고정요소)와 같은 과제를 다루는 것.
• 실증적 평가를 통해 분류 및 회귀 성능 향상 여부를 입증하는 것.
• 효율적인 특성 선택 및 모델 최적화를 가능하게 하는 MED의 이중형식을 탐색하는 것.

제안 방법

• 특성 가중치의 희박성(sparsity)을 유도하는 정규화 체계를 도입하여 MED를 확장함으로써, 효과적으로 특성 선택을 수행하는 방법.
• MED 프레임워크 내에서 최적화 문제로 특성 선택을 수립하고, 이중성을 활용하여 효율적인 알고리즘을 유도하는 방법.
• 이중 최적화 과정에서 잠재변수(latent variables)로 간주함으로써 관측되지 않은 예제별 고정요소(예: 정렬)를 통합하는 방법.
• 이중형식은 제약 조건과 관련된 이중 변수를 통해 특성 중요도를 효율적으로 계산할 수 있도록 한다.
• MED 손실 함수를 각 작업에 맞게 조정함으로써 선형 분류 및 회귀 모두를 지원하는 방법.
• MED 프레임워크의 유연성을 활용하여 서포트 벡터 머신, 지수족 모델, 정규화된 회귀를 동일한 최적화 구조 아래 통합하는 방법.

실험 결과

연구 질문

• RQ1 어떻게 특성 선택을 분류기 기반의 분류 및 회귀 프레임워크에 공식적으로 통합하여 예측 정확도를 향상시킬 수 있는가?
• RQ2 MED 프레임워크 내에서 어떤 이중형식이 효율적이고 효과적인 특성 선택을 가능하게 하는가?
• RQ3 정렬과 같은 관측되지 않은 예제별 고정요소는 특성 선택 과정에서 어떻게 모델링하고 다룰 수 있는가?
• RQ4 제안된 방법은 표준 MED 및 기준 특성 선택 기법에 비해 성능을 얼마나 향상시키는가?
• RQ5 MED 프레임워크는 다양한 모델에 대한 유연성을 유지하면서도 희박성 유도 정규화를 지원하도록 확장될 수 있는가?

주요 결과

• 제안된 특성 선택 방법은 분류기 정규화를 통해 관련 특성을 식별함으로써 분류 및 회귀 정확도를 뚜렷이 향상시킨다.
• MED의 이중형식은 특성 중요도의 효율적 계산과 모델 파라미터의 희박성을 지원한다.
• 최적화 과정에서 잠재변수로 간주함으로써 관측되지 않은 예제별 고정요소(예: 정렬)를 효과적으로 처리한다.
• 실증 결과는 기준 MED 및 표준 특성 선택 접근법에 비해 벤치마크 데이터셋에서 상당한 성능 향상을 보여준다.
• MED 프레임워크에 특성 선택을 통합함으로써 모델의 유연성을 유지하면서도 선형 분류 및 회귀 과제에서 견고하고 정확한 예측이 가능해진다.
• 이중성을 통한 베이지안 정규화와 분류기 기반 특성 선택의 조합을 통해 일반화 성능이 향상된다.