[논문 리뷰] Differentiable Unsupervised Feature Selection based on a Gated Laplacian

Ofir Lindenbaum, Uri Shaham외 3명|arXiv (Cornell University)|2020. 07. 09.

Neural Networks and Applications참고 문헌 49인용 수 14

한 줄 요약

이 논문은 고차원적이고 노이즈가 많은 데이터에서 정보성 특징을 식별하기 위해 게이팅된 라플라시안 스코어와 학습 가능한 베르누이 게이트를 결합한 Differentiable Unsupervised Feature Selection (DUFS)을 제안한다. 게이팅 메커니즘을 통해 연속적으로 미분 가능하게 하여, 동적으로 선택된 특징 부분집합에 대해 다시 라플라시안을 평가함으로써, 실제 데이터 및 노이즈가 있는 데이터셋에서 표준 라플라시안 스코어와 베이스라인들보다 클러스터링 정확도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Scientific observations may consist of a large number of variables (features). Identifying a subset of meaningful features is often ignored in unsupervised learning, despite its potential for unraveling clear patterns hidden in the ambient space. In this paper, we present a method for unsupervised feature selection, and we demonstrate its use for the task of clustering. We propose a differentiable loss function that combines the Laplacian score, which favors low-frequency features, with a gating mechanism for feature selection. We improve the Laplacian score, by replacing it with a gated variant computed on a subset of features. This subset is obtained using a continuous approximation of Bernoulli variables whose parameters are trained to gate the full feature space. We mathematically motivate the proposed approach and demonstrate that in the high noise regime, it is crucial to compute the Laplacian on the gated inputs, rather than on the full feature set. Experimental demonstration of the efficacy of the proposed approach and its advantage over current baselines is provided using several real-world examples.

연구 동기 및 목표

• 지도 학습에서 잡음이 많은 특징들이 기본 데이터 구조를 가리키는 문제를 다루기 위해, 특히 고차원 과학적 데이터셋에서의 문제를 해결한다.
• 전체 특징 공간이 아닌 선택된 특징 부분집합에 대해 라플라시안을 동적으로 재평가할 수 있도록 라플라시안 스코어를 개선한다.
• 기울기 기반 최적화를 지원하는, 미분 가능한 종단 간(end-to-end) 학습이 가능한 비지도 특징 선택 프레임워크를 개발한다.
• 라플라시안을 계산하기 전에 특징을 선택하는 것이 아니라, 이후에 선택하는 것보다 진정한 다양체 구조를 더 잘 탐지할 수 있음을 입증한다.

제안 방법

• 연속적 근사화된 베르누이 변수를 사용한 미분 가능한 게이팅 메커니즘을 도입하여, 기울기 기반 최적화를 가능하게 한다.
• 모든 특징이 아닌 게이트 파라미터에 의해 결정된 특징 부분집합에 대해 라플라시안을 계산하는 게이팅된 라플라시안 스코어를 제안한다.
• 선택된 특징에 대한 가우시안 커널을 사용해 그래프 라플라시안을 구성함으로써 국소 다양체 구조를 유지한다.
• 게이트 파라미터를 통해 미분 가능하게 하여, 기울기 역전파를 통해 목적함수를 최적화함으로써 특징 선택과 구조 유지의 공동 학습을 가능하게 한다.
• 선택 과정을 미분 가능하게 하기 위해 베르누이 게이트의 연속적 근사화(예: 컨크리트 근사)를 사용한다.
• 선택된 특징에 대해 k-means 클러스터링을 적용하여 성능을 평가하며, 모든 학습 과정은 순수하게 비지도 방식으로 수행된다.

실험 결과

연구 질문

• RQ1 미분 가능한 특징 선택 메커니즘이, 잡음이 많은 고차원 데이터에서 비지도 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 동적으로 선택된 특징 부분집합에 대해 라플라시안 스코어를 계산하는 것이 전체 특징 집합에 적용하는 것보다 더 나은 구조 복원을 이끌 수 있는가?
• RQ3 노이즈에 대한 강건성과 클러스터링 정확도 측면에서, 기존의 비지도 특징 선택 베이스라인들과 비교해 본다면 제안된 방법은 어떠한가?
• RQ4 어떤 상황에서 게이팅된 부분집합에 대해 다시 라플라시안을 평가하는 것이 기저 데이터 구조 탐지에 필수적인가?
• RQ5 제안된 방법은 레이블 정보 없이도 실제 데이터셋에서 의미 있는 특징을 식별할 수 있는가?

주요 결과

• 9개의 벤치마크 데이터셋에서 DUFS는 중앙순위 1, 평균순위 1.3을 기록했으며, 6개 데이터셋에서 모든 6개의 베이스라인을 초월했고, 나머지 3개 데이터셋에서는 2위를 기록했다.
• 노이즈가 있는 MNIST에서 DUFS는 숫자의 왼쪽 쪽에 집중된 특징을 선택하여 '3'과 '8'을 구분하는 데 성공했으며, 라플라시안 스코어보다 더 높은 클러스터링 정확도를 달성했다.
• 노이즈가 있는 PIX10에서 DUFS는 얼굴 이미지 클러스터링에 더 정보가 많은 특징을 선택하여 픽셀 수준의 노이즈에 강건함을 입증했다.
• 선택된 특징 수를 50에서 300까지 다양하게 변화시킨 실험에서, DUFS는 모든 설정에서 라플라시안 스코어보다 뛰어난 클러스터링 정확도를 유지했다.
• 특히 높은 노이즈 환경에서는 표준 라플라시안 스코어가 잡음 특징에 의해 가려져 기능을 상실하는 반면, DUFS는 그에 비해 뛰어난 성능을 보였다.
• 추가 분석 결과, 게이팅된 부분집합에 대해 라플라시안을 재평가하는 것이 핵심임을 확인했으며, 선택된 특징에 대해 다시 라플라시안을 평가함으로써 구조 탐지 성능이 크게 향상됨을 입증했다.