[논문 리뷰] N$^3$LARS: Minimum Redundancy Maximum Relevance Feature Selection for Large and High-dimensional Data

Makoto Yamada, Avishek Saha외 3명|arXiv (Cornell University)|2014. 11. 10.

Face and Expression Recognition참고 문헌 31인용 수 3

한 줄 요약

이 논문은 대규모 고차원 데이터셋에서 비중복 특징을 선별하기 위해 정규화된 힐버트-슈미트 독립성 기준(NHSIC)을 사용하여 비음수 최소제곱 각도 회귀(NN-LARS)를 확장한 확장 가능한, 볼록적이고 비선형적인 특징 선택 방법인 N³LARS를 제안한다. 이 방법은 Hadoop 및 Spark와 같은 map-reduce 프레임워크를 통해 효율적인 분산 계산을 가능하게 하며, 전역 최적성을 확보하고 생물학적 대규모 데이터셋에서 기존 필터 기반 방법보다 뛰어난 AUC 점수와 더 낮은 상관관계를 기록한다.

ABSTRACT

We propose a feature selection method that finds non-redundant features from a large and high-dimensional data in nonlinear way. Specifically, we propose a nonlinear extension of the non-negative least-angle regression (LARS) called N${}^3$LARS, where the similarity between input and output is measured through the normalized version of the Hilbert-Schmidt Independence Criterion (HSIC). An advantage of N${}^3$LARS is that it can easily incorporate with map-reduce frameworks such as Hadoop and Spark. Thus, with the help of distributed computing, a set of features can be efficiently selected from a large and high-dimensional data. Moreover, N${}^3$LARS is a convex method and can find a global optimum solution. The effectiveness of the proposed method is first demonstrated through feature selection experiments for classification and regression with small and high-dimensional datasets. Finally, we evaluate our proposed method over a large and high-dimensional biology dataset.

연구 동기 및 목표

• 대규모 고차원 데이터셋에 대한 확장 가능하고 비선형적이며 필터 기반 특징 선택 방법의 부족을 해결하기 위해.
• 입력-입력 유사도를 통합하여 최대 관련성(MR)-기반 방법의 중복 문제를 해결하기 위해.
• 대규모 n과 고차원 d 데이터에 대해 효율적으로 확장 가능한 볼록적이고 전역 최적의 방법을 개발하기 위해.
• 실제 고차원 데이터에 대한 실용적 구현을 위해 Hadoop 및 Spark와 같은 분산 시스템에의 배포를 가능하게 하기 위해.

제안 방법

• N³LARS는 비음수 최소제곱 각도 회귀(Non-negative LARS)의 비선형 확장으로, 입력-출력 유사도를 측정하기 위해 정규화된 힐버트-슈미트 독립성 기준(NHSIC)을 사용한다.
• 특징 선택을 m단계에서 순차적으로 수행하는 볼록 최적화 문제로 공식화하여 m개의 비중복 특징을 선택한다.
• LARS의 정규화 경로를 활용하여 반복적인 하이퍼파rameter 튜닝 없이도 특징 분석 및 선택이 가능하다.
• 대규모 환경에서의 계산 비용을 줄이기 위해 Nyström 방법을 사용하여 커널 근사화를 통합한다.
• 알고리즘은 map-reduce 프레임워크를 고려하여 설계되어 커널 행렬과 LARS 반복의 분산 계산을 허용한다.
• 입력과 출력 간의 종속성 측정을 일관되고 해석 가능한 범위로 유지하기 위해 HSIC의 정규화된 형태를 사용한다.

실험 결과

연구 질문

• RQ1 대규모 고차원 데이터에 대해 확장 가능하고 전역 최적인 비선형 필터 기반 특징 선택 방법이 구현될 수 있는가?
• RQ2 생물학적 대규모 데이터셋에서 N³LARS는 HSIC Lasso, mRMR, 선형 Lasso와 비교해 정확도와 중복도 측면에서 어떻게 성능을 내는가?
• RQ3 LARS 기반 순차적 선택 프레임워크는 NHSIC를 사용하여 비선형적이고 비중복적인 특징 선택에 효과적으로 적용될 수 있는가?
• RQ4 N³LARS의 분산 구현은 대규모 데이터에서 계산 시간을 크게 줄일 수 있는가 동시에 성능을 유지하는가?
• RQ5 밀도 높은 고차원 환경에서 표준 HSIC 또는 상호정보 기반 방법에 비해 NHSIC의 사용이 특징 선택 성능을 어떻게 향상시키는가?

주요 결과

• TRIM32 유전자 발현 데이터셋에서 N³LARS는 HSIC Lasso 및 mRMR와 유사한 평균 제곱 오차(MSE)를 기록했으며, 중복률 0.42를 기록하여 선형 Lasso(0.43)와 HSIC Lasso(0.45)를 모두 초월했다.
• 5408개의 특징과 31,420개의 샘플을 가진 p53 돌연변이 데이터셋에서 N³LARS는 테스트된 모든 방법 중 가장 높은 AUC 점수를 기록했으며, MR-NHSIC와 mRMR를 모두 압도했다.
• N³LARS의 계산 시간은 맵퍼/리듀서 수가 증가함에 따라 뚜렷이 감소하여 분산 환경에서의 우수한 확장성을 입증했다.
• 볼록 공식화 덕분에 전역 최적 해를 도달하여 다양한 정규화 파rameter로의 다중 실행이 필요 없음을 보였다.
• p53 데이터셋에서 mRMR를 초월한 성능은 상호정보 추정이 밀도 높은 고차원 데이터에 대해 정확도가 떨어질 수 있음을 시사한다.
• 여러 런에 걸쳐 안정적인 AUC 및 MSE 점수를 기록하여 신뢰성과 일관성을 입증했다.