[논문 리뷰] Ranking to Learn: Feature Ranking and Selection via Eigenvector Centrality

Giorgio Roffo, Simone Melzi|arXiv (Cornell University)|2017. 04. 18.

Machine Learning in Bioinformatics참고 문헌 23인용 수 33

한 줄 요약

이 논문은 특성 간 관계를 유사도 그래프로 모델링하여 특성 중요도를 측정하는 에이전트 벡터 중심성(Eigenvector Centrality, EC)을 사용해 가장 정보가 풍부한 특성을 순위 매기는 그래프 기반 특성 선택 방법을 제안한다. 이 방법은 7개의 다양한 데이터셋에서 최신 기준 성능을 기록하며, 분류 성능과 순위 질적 특성에서 7개의 기준 방법을 모두 초월하면서도 낮은 계산 비용을 유지한다.

ABSTRACT

In an era where accumulating data is easy and storing it inexpensive, feature selection plays a central role in helping to reduce the high-dimensionality of huge amounts of otherwise meaningless data. In this paper, we propose a graph-based method for feature selection that ranks features by identifying the most important ones into arbitrary set of cues. Mapping the problem on an affinity graph-where features are the nodes-the solution is given by assessing the importance of nodes through some indicators of centrality, in particular, the Eigen-vector Centrality (EC). The gist of EC is to estimate the importance of a feature as a function of the importance of its neighbors. Ranking central nodes individuates candidate features, which turn out to be effective from a classification point of view, as proved by a thoroughly experimental section. Our approach has been tested on 7 diverse datasets from recent literature (e.g., biological data and object recognition, among others), and compared against filter, embedded and wrappers methods. The results are remarkable in terms of accuracy, stability and low execution time.

연구 동기 및 목표

• 고차원 데이터의 도전 과제를 효율적이고 강건하게 가장 관련성이 높은 특성을 식별함으로써 해결하고자 한다.
• 개별 특성 점수를 넘는 상호 특성 간 의존성을 반영하는 그래프 기반 접근법을 통해 특성 선택을 향상시키고자 한다.
• 가중 유사도 그래프에서 특성의 중심성 기반으로 순위를 매기는 확장성 있는 지도 기반 방법을 개발하고자 한다.
• 일관된 인터페이스를 갖춘 통합된 오픈소스 MATLAB 라이브러리(FSLib)를 제공하여 대규모 특성 선택 알고리즘 평가를 가능하게 하고자 한다.

제안 방법

• 특성이 유사도 그래프의 노드로 매핑되며, 간선은 특성 분포 간의 쌍별 유사도를 나타낸다.
• 에지 가중치는 커널 기반 유사도 측정법(예: RBF)을 사용해 특성 간 분류 능력을 반영한다.
• 에이전트 벡터 중심성(EC)을 적용하여 각 특성의 중요도를 그 이웃의 중요도 기반으로 평가함으로써 특성을 순위 매긴다.
• EC 점수는 가중 인접 행렬의 주된 고유벡터를 통해 계산되며, 이는 전파되는 영향을 통해 전역적 관련성을 포괄한다.
• 이 방법은 확장 가능하고 병렬 처리가 가능하며, MapReduce를 통한 분산 계산을 지원한다.
• 표준화된 입력/출력 형식을 갖춘 통합 MATLAB 툴박스(FSLib)에 통합되어 기준 테스트를 위한 사용이 가능하다.

실험 결과

연구 질문

• RQ1 에이전트 벡터 중심성과 같은 그래프 기반 중심성 측정법이 고차원 데이터에서 특성의 관련성에 따라 효과적으로 특성 순위를 매길 수 있는가?
• RQ2 제안된 EC 기반 특성 선택 방법은 기존의 필터, 웨퍼, 임베디드 방법과 비교해 정확도, 안정성, 효율성 면에서 어떻게 성능을 내는가?
• RQ3 다양한 차원성과 클래스 복잡도를 가진 다양한 데이터셋에서 이 방법은 일관된 성능을 유지하는가?
• RQ4 특성 간 관계를 그래프 기반으로 모델링하는 것이 특성을 개별적으로 평가하는 방법보다 특성 순위 매기기 성능을 얼마나 향상시키는가?
• RQ5 분산 컴퓨팅 패러다임을 활용해 이 방법을 대규모 또는 빅데이터 응용 분야에 효율적으로 확장할 수 있는가?

주요 결과

• 제안된 EC-FS 방법은 GINA 손글씨 인식 데이터셋에서 평균 AUC 90.3%를 기록했으며, MADELON 인공 데이터셋에서는 63.7%를 기록하여 모든 7개의 경쟁 방법을 초월했다.
• Colon, Prostate, Leukemia, Lymphoma 암 데이터셋에서 EC-FS는 최고의 분류 정확도를 기록했으며, 계산 오버헤드가 최소한이었다.
• 100번의 무작위 데이터 분할에 걸쳐 높은 순위 안정성을 보였으며, 기준 방법 대비 통계적으로 유의미한 향상(p < 0.05)을 보였다.
• GINA에서 평균 실행 시간은 1.56초, MADELON에서는 0.57초를 기록하여 RFE(50,163초)보다 훨씬 빠르며, 다른 빠른 방법들과도 경쟁 가능했다.
• 선택된 특성 수가 50~200으로 변할 때에도 높은 성능을 유지했으며, 하위집합 크기와 관계없이 일관된 순위 질을 보였다.
• 오픈소스 FSLib MATLAB 툴박스는 원활한 통합과 대규모 벤치마킹을 가능하게 하여 재현 가능성과 확장성을 보장한다.