[논문 리뷰] Unsupervised Feature Selection Based on Space Filling Concept

Mohamed Laib, Mikhaïl Kanevski|arXiv (Cornell University)|2017. 06. 27.

Metaheuristic Optimization Algorithms Research참고 문헌 13인용 수 3

한 줄 요약

이 논문은 고차원 데이터에서 부재를 최소화하기 위해 공간 충만도 측도를 기반으로 한 새로운 비지도 특성 선택 알고리즘인 UfsCov를 제안한다. 순차적 전진 선택 방식을 사용해 공간을 최대한 균일하게 커버하는 특성을 반복적으로 선택함으로써, 최소한의 파라미터로 최적의 특성 부분집합을 도출한다. 이는 시뮬레이션 데이터, 환경 데이터, 고스펙트럴 데이터 셋에서 강력한 성능을 보이며, 특히 특성 수를 줄였을 때 분류 정확도가 향상됨을 입증한다.

ABSTRACT

The paper deals with the adaptation of a new measure for the unsupervised feature selection problems. The proposed measure is based on space filling concept and is called the coverage measure. This measure was used for judging the quality of an experimental space filling design. In the present work, the coverage measure is adapted for selecting the smallest informative subset of variables by reducing redundancy in data. This paper proposes a simple analogy to apply this measure. It is implemented in a filter algorithm for unsupervised feature selection problems. The proposed filter algorithm is robust with high dimensional data and can be implemented without extra parameters. Further, it is tested with simulated data and real world case studies including environmental data and hyperspectral image. Finally, the results are evaluated by using random forest algorithm.

연구 동기 및 목표

• 고차원 데이터에서 차원의 저주 문제를 해결하기 위해 레이블이 없는 출력을 요구하지 않고 부재를 줄이기 위해.
• 원래 실험 설계에서 사용된 공간 충만도 측도를 필터 기반 비지도 특성 선택 프레임워크로 적응하기 위해.
• 데이터 공간의 충만도를 최대화함으로써 최소한의 정보를 갖는 특성 부분집합을 선택하는 강력하고 파라미터 없는 알고리즘 개발을 위해.
• 시뮬레이션 데이터, 환경 데이터 셋(예: 영구凍토), 고스펙트럴 이미지(예: 인디언 파인스)에서의 성능 평가를 위해.
• 여러 데이터셋에서 일관된 랜덤 포레스트 평가 프rotocol을 사용하여 선택된 특성의 유효성을 검증하기 위해.

제안 방법

• 충만도 측도는 데이터 포인트가 특성 공간을 얼마나 균일하게 채우는지 비교하여 측정하며, 정규 격자와의 분포를 비교한다; 낮은 값일수록 더 좋은 공간 충만도를 의미한다.
• UfsCov 알고리즘은 순차적 전진 선택(SFS)을 사용하여 충만도 측도를 가장 크게 향상시키는 특성을 반복적으로 추가한다.
• 각 단계에서 모든 후보 특성 부분집합의 충만도 값을 계산하고, 최소 충만도를 가진 부분집합을 선택함으로써 균일성과 정보량이 최대가 되는 특성을 선택한다.
• 이 방법은 학습 모델에 의존하지 않는 필터 기반 접근 방식으로 구현되어 계산 효율성이 높고 확장성이 있다.
• 알고리즘의 강건성을 평가하기 위해 노이즈 주입 및 데이터 셔플링을 시행한다.
• 결과는 랜덤 포레스트 분류를 통해 평가되며, 여러 시행 동안 정확도와 카파 계수를 보고한다.

실험 결과

연구 질문

• RQ1 공간 충만도 측도는 고차원 데이터의 비지도 특성 선택에 효과적으로 적응될 수 있는가?
• RQ2 UfsCov 알고리즘은 정보가 풍부한 특성을 유지하면서 부재를 줄이는 데 기존 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 선택된 특성 부분집합은 인도적 실생활 데이터인 고스펙트럴 이미지와 환경 모니터링 데이터셋과 같이 복잡한 데이터에서 후속 분류 성능을 향상시키는가?
• RQ4 노이즈 및 셔플링과 같은 데이터 훼손 상황에서 UfsCov 알고리즘의 강건성은 어떠한가?
• RQ5 충만도 측도는 비지도 환경에서 최적의 특성 부분집합을 식별하는 신뢰할 수 있는 파라미터 없는 기준이 될 수 있는가?

주요 결과

• 영구凍토 데이터셋에서 UfsCov는 26개 특성 중 17개를 선택하여 분류 정확도 0.9339(카파 = 0.867)를 달성했으며, 전체 특성 집합(정확도 0.9301, 카파 0.848)을 略로 뛰어넘었다.
• 인디언 파인스 고스펙트럴 이미지에서는 200개의 파장 중 69개를 최적의 특성으로 식별하여 차원을 줄였지만 강력한 성능을 유지했다.
• 랜덤 포레스트 평가 결과, UfsCov에서 선택된 특성들은 전체 특성 사용 대비 일관되게 동일하거나 약간 향상된 분류 정확도를 보였다.
• 영구凍토의 경우 충만도 측도는 17개 특성에서 최소값을 기록했고, 인디언 파인스의 경우 69개 특성에서 최소값을 기록하여 이 부분집합 크기에서 최적의 공간 충만도를 달성함을 시사했다.
• 노이즈 및 데이터 셔플링 상황에서도 알고리즘이 일관된 성능을 유지하여 강건성을 입증했다.
• UfsCov 알고리즘은 CRAN의 SFtools 라이브러리를 통해 R에서 이용 가능하여 광범위한 재현성과 데이터 과학 파이프라인 통합이 가능하다.