[논문 리뷰] Effective Discriminative Feature Selection with Non-trivial Solutions

Hong Tao, Chenping Hou외 3명|arXiv (Cornell University)|2015. 04. 21.

Face and Expression Recognition참고 문헌 29인용 수 6

한 줄 요약

이 논문은 선형 판별 분석(LDA)과 ℓ₂,p-노름 정규화를 통합하여 가장 분류 능력이 뛰어난 특징을 동시에 선택하고 중복된 특징을 제거하는 새로운 특징 선택 방법인 판별적 특징 선택(DFS)을 제안한다. 0 < p ≤ 2 조건 하에 문제를 ℓ₂,p-최소화 문제로 공식화함으로써, 기존의 LDA 기반 및 필터 기반 방법보다 더 뛰어난 희박성과 성능을 달성하며, 단조적으로 수렴하는 빠른 수렴 알고리즘을 증명하였다.

ABSTRACT

Feature selection and feature transformation, the two main ways to reduce dimensionality, are often presented separately. In this paper, a feature selection method is proposed by combining the popular transformation based dimensionality reduction method Linear Discriminant Analysis (LDA) and sparsity regularization. We impose row sparsity on the transformation matrix of LDA through ${\ell}_{2,1}$-norm regularization to achieve feature selection, and the resultant formulation optimizes for selecting the most discriminative features and removing the redundant ones simultaneously. The formulation is extended to the ${\ell}_{2,p}$-norm regularized case: which is more likely to offer better sparsity when $0

연구 동기 및 목표

• 기존의 필터 기반 특징 선택 방법이 특징 간 상호작용과 중복을 처리하지 못하는 한계를 해결하기 위해.
• 선형 판별 분석(LDA)의 판별 능력과 희박성 정규화를 융합하여 더 나은 특징 선택을 위해.
• 가장 분류 능력이 뛰어난 특징을 동시에 선택하고, 상호 상관관계가 높은 중복된 특징을 제거하는 방법을 개발하기 위해.
• ℓ₂,1-노름 공식을 0 < p < 1일 때 더 나은 희박성 근사치를 제공하기 위해 ℓ₂,p-노름 정규화로 확장하기 위해.
• 특징 선택 맥락에서 ℓ₂,p-노름 최소화 문제를 해결하기 위한 효율적이고 수렴하는 알고리즘을 설계하기 위해.

제안 방법

• LDA 변환 행렬에 ℓ₂,p-노름 정규화를 적용하여 특징 선택 문제를 희박한 LDA 문제로 공식화함으로써 행렬의 행 희박성을 유도한다.
• ℓ₂,p-노름 최소화 목표함수를 사용하여 특징 간 그룹 희박성을 촉진함으로써, 분류 능력이 뛰어나고 중복이 없는 특징의 선택을 향상시킨다.
• 0 < p ≤ 2 조건에서 비볼록인 ℓ₂,p 문제를 해결하기 위해 분할 정복 다중승수법(ADMM) 기반의 반복 최적화 알고리즘을 개발한다.
• 제안된 알고리즘이 주어진 조건 하에 목적 함수를 단조롭게 감소시키며 정적점으로 수렴함을 증명한다.
• 고차원 환경에서의 특이성 문제를 해결하기 위해 총 산란 행렬 St 에 정규화를 적용한다.
• ℓ₂,p 최소화를 근사하기 위해 알고리즘에 재가중 전략을 도입하여 희박성과 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 LDA 기반 방법에서 ℓ₂,p-노름 정규화는 ℓ₂,1-노름에 비해 특징 선택 성능을 향상시킬 수 있는가?
• RQ2 제안된 DFS 방법은 분류 능력을 유지하면서 특징의 중복성을 효과적으로 줄이는가?
• RQ3 ℓ₂,p-노름에서 p의 선택이 희박성과 분류 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 ℓ₂,p-최소화를 위한 최적화 알고리즘이 실질적으로 효율적이고 수렴하는가?
• RQ5 기존의 필터 기반 및 임bedded 특징 선택 방법과 비교해 DFS는 성능과 계산 비용 측면에서 어떻게 성과를 내는가?

주요 결과

• COIL20 및 COLON을 포함한 여러 실제 데이터셋에서 p = 0.1과 p = 0.5를 사용한 DFS는 기준 방법들보다 뛰어난 분류 정확도를 달성하였다.
• 모든 테스트된 p 값(0.1, 0.5, 1)에 대해 COIL20 및 COLON에서 알고리즘이 20회 이내에 수렴함을 확인하여 빠른 수렴을 입증하였다.
• 정규화 파rameter γ에 민감하게 반응하며, 최적의 값은 데이터셋에 따라 다를 수 있으나, γ가 증가함에 따라 분류 정확도가 최고에 도달한 후 감소하는 경향을 보였다.
• p = 1일 때 DFS는 COIL20 및 ISOLET5에서 LS, mRMR, RF, TR 방법보다 높은 분류 정확도를 기록하였다.
• BAHSIC는 반복적인 커널 행렬 갱신으로 인해 가장 느린 메서드였고, DFS(p=1)는 BAHSIC보다 빠르지만 LS 및 TR과 같은 단순한 방법보다는 느렸다.
• 목적 함수는 단조롭게 감소하며, 연속된 변환 행렬 A 간의 차이가 0으로 수렴함을 확인하여 알고리즘의 안정성과 수렴성을 확인하였다.