[논문 리뷰] Supervised Infinite Feature Selection

Sadegh Eskandari, Emre Akbaş|arXiv (Cornell University)|2017. 04. 09.

Face and Expression Recognition참고 문헌 30인용 수 4

한 줄 요약

이 논문은 감독 학습 환경에서 레이블 정보를 통합하여 IFS(무한 특성 선택) 방법을 개선한 SIFS(Supervised Infinite Feature Selection)와 비감독 설정을 위한 mIFS(modified IFS)를 제안한다. 상호정보량과 스피어만의 순서상관관계를 사용하여 특성 인접행렬을 재정의함으로써 상호의존성 모델링을 향상시킨다(SIFS) 또는 표준편차와 상호정보량을 조합하여 특성 인접행렬을 구성함으로써(mIFS) 성능을 향상시킨다. 이로 인해 IFS와 mRMR보다 최대 6%의 평균 분류 정확도 향상을 이룬다. 이는 기준 데이터셋에서 평균적으로 1.89% 향상된 결과이다.

ABSTRACT

In this paper, we present a new feature selection method that is suitable for both unsupervised and supervised problems. We build upon the recently proposed Infinite Feature Selection (IFS) method where feature subsets of all sizes (including infinity) are considered. We extend IFS in two ways. First, we propose a supervised version of it. Second, we propose new ways of forming the feature adjacency matrix that perform better for unsupervised problems. We extensively evaluate our methods on many benchmark datasets, including large image-classification datasets (PASCAL VOC), and show that our methods outperform both the IFS and the widely used "minimum-redundancy maximum-relevancy (mRMR)" feature selection algorithm.

연구 동기 및 목표

• 원래의 IFS 방법은 비감독이며 특성 간의 복잡한 비선형 상호의존성을 포착하지 못한다는 한계를 해결하기 위해.
• 클래스 레이블을 활용하여 특성 관련성 추정을 향상시키는 감독형 IFS의 변종을 개발하기 위해.
• 표준편차와 상호정보량을 사용하여 특성 관련성과 상호의존성을 더 잘 포착하는 새로운 비감독 특성 인접행렬 구성 방법을 제안하기 위해.
• 특히 이미지 분류 작업에서 고차원 데이터셋에 대한 특성 선택 성능을 향상시키기 위해.
• 제안된 방법이 다양한 기준 데이터셋에서 최신 기술인 IFS와 mRMR를 초월함을 입증하기 위해.

제안 방법

• SIFS는 관련성에 대해 상호정보량, 상호의존성에 대해 스피어만의 순서상관관계를 사용하여 감독형 특성 인접행렬을 구성함으로써 레이블 인식 특성 선택을 가능하게 한다.
• mIFS는 비감독 설정에서 IFS를 확장하기 위해 인접행렬 내에서 표준편차 기반 관련성과 상호정보량 기반 상호의존성을 통합한다.
• 특성 중심성 점수를 효율적으로 계산하기 위해 인접행렬의 기하급수를 사용하여 무한 경로 적분을 계산한다.
• 특성 선택은 행렬 거듭제곱의 무한합에서 유도된 중심성 점수 기반으로 특성들을 순위 매김함으로써 수행된다.
• 선형 SVM과 딥 컨volution 네트워크 특성에 모두 적용되며, 최적의 특성 수를 결정하기 위해 정규화 및 교차검증을 수행한다.
• 소스 코드는 재현성과 향후 기준 측정을 위해 공개되어 있다.

실험 결과

연구 질문

• RQ1 감독형 IFS의 변종인 SIFS는 원래의 비감독 IFS보다 분류 정확도를 향상시킬 수 있는가?
• RQ2 상호의존성 모델링에 스피어만의 순서상관관계를 통합함으로써 감독형 특성 선택 작업의 성능 향상이 이루어지는가?
• RQ3 표준편차와 상호정보량을 사용한 수정된 비감독 IFS 변종이 비감독 기준에서 원래 IFS를 초월할 수 있는가?
• RQ4 다양한 데이터셋에서 제안된 방법이 널리 사용되는 정보이론 기반 특성 선택 알고리즘인 mRMR와 비교해 어떻게 성능을 냈는가?
• RQ5 제안된 방법이 PASCAL VOC 2007 및 2012와 같은 대규모 이미지 분류 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• SIFS는 12개의 기준 데이터셋에서 평균적으로 IFS보다 분류 정확도가 6% 향상되어, 특성 선택 과정에서 레이블 정보를 활용하는 것이 유의미한 이점을 제공함을 입증한다.
• 12개 데이터셋 평균적으로 SIFS는 mRMR보다 1.89% 높은 분류 정확도를 기록하여 감독 환경에서의 우수성을 입증한다.
• mIFS는 12개 데이터셋 중 9개에서 원래 IFS를 초월하며, Arcene 데이터셋에서는 12% 향상되고 Prostate 데이터셋에서는 7% 향상되었다.
• PASCAL VOC 2007에서 SIFS는 85.90% mAP를 기록하여 IFS(84.63%)와 mRMR(84.95%)를 모두 앞서며, ResNet에서 40%의 특성만 유지한 상태에서 성능을 냈다.
• PASCAL VOC 2012에서 SIFS는 86.50% mAP를 달성하여 IFS(85.78%)와 mRMR(85.88%)를 모두 앞서며, 동일하게 ResNet의 40% 특성만 사용하였다.
• SIFS는 이미지 분류, 유전자 발현, 의료 데이터를 포함한 모든 데이터셋에서 일관되게 최고의 성능을 기록하여 그 강건성과 일반화 능력을 확인한다.