[논문 리뷰] Gradient-based Laplacian Feature Selection

Bo Wang, Anna Goldenberg|arXiv (Cornell University)|2014. 04. 10.

Face and Expression Recognition참고 문헌 15인용 수 4

한 줄 요약

이 논문은 정확한 공분산 계산과 ℓ₁ 희박성 허용을 통해 라플라시안 정규화 최소 제곱 회귀 모델에서 분산을 최소화하는 그래디언트 기반 라플라시안 특성 선택(GLFS)을 제안한다. GLFS는 객체 인식 및 계산 생물학 데이터셋에서 기존 최고 수준의 방법들(예: 엘라스틱넷 포함)을 능가하는 더 적은 수의 더 관련성 있는 특성들을 선택하면서도 우수한 클러스터링 및 분류 성능을 달성한다.

ABSTRACT

Analysis of high dimensional noisy data is of essence across a variety of research fields. Feature selection techniques are designed to find the relevant feature subset that can facilitate classification or pattern detection. Traditional (supervised) feature selection methods utilize label information to guide the identification of relevant feature subsets. In this paper, however, we consider the unsupervised feature selection problem. Without the label information, it is particularly difficult to identify a small set of relevant features due to the noisy nature of real-world data which corrupts the intrinsic structure of the data. Our Gradient-based Laplacian Feature Selection (GLFS) selects important features by minimizing the variance of the Laplacian regularized least squares regression model. With $\ell_1$ relaxation, GLFS can find a sparse subset of features that is relevant to the Laplacian manifolds. Extensive experiments on simulated, three real-world object recognition and two computational biology datasets, have illustrated the power and superior performance of our approach over multiple state-of-the-art unsupervised feature selection methods. Additionally, we show that GLFS selects a sparser set of more relevant features in a supervised setting outperforming the popular elastic net methodology.

연구 동기 및 목표

• 라벨 정보가 제공되지 않는 고차원적이고 노이즈가 많은 실세계 데이터에서 비지도 특성 선택의 과제를 해결하기 위해.
• 기존 비지도 방법의 한계, 즉 탐욕 알고리즘에 의존하거나 근사 공분산 행렬을 사용하며, 하이퍼파rameter 조정에 민감한 점을 극복하기 위해.
• 데이터의 내재 다양체 구조에 관련된 희박한 특성 집합을 식별할 수 있도록 확장 가능하고 강력한 방법을 개발하기 위해.
• 라플라시안 정규화 회귀의 기하학적 및 구분 능력 특성을 활용하여 클러스터링 및 분류 작업의 성능을 향상시키기 위해.

제안 방법

• GLFS는 라플라시안 정규화 최소 제곱(LapRLS) 회귀에서 분산 최소화 문제로 특성 선택을 공식화하며, 다양체의 구조를 유지하기 위해 정확한 전체 공분산 행렬을 사용한다.
• NP-어려운 ℓ₀ 노름 제약 조건을 볼록 최적화를 통해 ℓ₁ 노름으로 풀어내어 효율적인 최적화와 희박한 특성 집합의 생성을 가능하게 한다.
• ℓ₁ 정규화 최적화를 위한 뉴턴 유형 솔버를 사용할 수 있도록 닫힌 형태의 일阶 자코비안 행렬을 유도한다.
• 수동 설정 없이 펜alty 파rameter λ를 조정하기 위해 자동 선색 인식 기법을 도입한다.
• 학습된 특성 가중치를 활용해 LapRLS 예측 규칙을 통해 분류를 수행함으로써 지도 학습 설정으로 확장한다.
• 교차 검증을 통해 하이퍼파rameter 선택을 수행하면서, 비지도 클러스터링 및 지도 학습 분류 작업에 모두 적용 가능한 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 라플라시안 정규화 기반 비지도 특성 선택 방법이 고차원적이고 노이즈가 많은 데이터에서 기존 최고 수준의 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ2 근사치 대신 정확한 공분산 행렬을 사용하는 것이 특성 선택의 강건성과 정확도를 향상시키는가?
• RQ3 ℓ₀ 노름 제약 조건의 ℓ₁ 허용이 탐욕적 ℓ₀ 최적화보다 더 희박하고 안정적이며 정확한 특성 집합을 제공할 수 있는가?
• RQ4 GLFS는 유전자 발현 데이터에서 생물학적으로 관련 있는 특성들을 식별하는 데 얼마나 효과적인가, 특히 질병 아형을 탐지하는 데에는 어떤가?
• RQ5 특성 선택 시 레이블 정보를 사용하지 않는 조건에서, 동일한 데이터에 대해 GLFS가 엘라스틱넷과 같은 인기 있는 지도 학습 방법을 능가할 수 있는가?

주요 결과

• 시뮬레이션 데이터에서 GLFS는 라플라시안 스코어, SPCA 등 다른 방법들과 비교해 가장 높은 정규화 상호정보량(NMI) 점수를 기록했으며, 100개 이하의 특성에서 특히 두각을 나타냈다.
• MNIST, COIL20, AT&T 얼굴 인식 데이터셋에서 GLFS는 라플라시안 스코어, SPCA, LapAOFS와 비교해 뛰어난 클러스터링 성능을 보였으며, NMI와 조정된 랜드 지수에서 일관된 향상을 보였다.
• TCGA 데이터를 활용한 간질성 뇌종양(GBM) 아형 탐지에서 GLFS는 약 25개 유전자로 구성된 희박한 집합을 식별해 핵심 생물학적 아형을 잘 반영했으며, SPCA 및 다른 방법들보다 뛰어난 성능을 보였다.
• 백혈병 마이크로어레이 데이터셋에서 GLFS는 단지 16개의 유전자만 선택했음에도 불구하고 0%의 테스트 오차를 기록했으며, 엘라스틱넷과 동일한 성능을 달성했지만 특성 수를 64% 줄였다.
• GLFS는 경쟁 방법들보다 더 강건했다: SPCA 및 라플라시안 기반 방법들과 달리, 특성 수 증가에 따라 성능이 저하되지 않아 추가 특성이 노이즈를 추가하지 않는다는 점을 시사했다.
• GLFS는 여러 시행에 걸쳐 안정적인 성능을 보였으며, 초기화 및 유사도 그래프 구성에 민감한 SPCA 및 LapDOFS와는 달리 높은 변동성을 보이지 않았다.