[논문 리뷰] Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm

Xinxing Wu, Qiang Cheng|PubMed|2020. 10. 19.

Face and Expression Recognition참고 문헌 10인용 수 8

한 줄 요약

이 논문은 신경망을 통해 전역적 특징 스코어링과 국소적 특징 선택을 결합하는 새로운 비지도 특징 선택 알고리즘을 제안하며, 증명 가능한 알고리즘 안정성과 일반화 오차 한계를 확보한다. 이 방법은 실제 데이터셋에서 뛰어난 성능을 보이며, 선택된 특징들이 원래 특징의 성능를 유지하고 데이터 변형에 대해 안정적인 선택을 보인다.

ABSTRACT

Feature selection, as a vital dimension reduction technique, reduces data dimension by identifying an essential subset of input features, which can facilitate interpretable insights into learning and inference processes. Algorithmic stability is a key characteristic of an algorithm regarding its sensitivity to perturbations of input samples. In this paper, we propose an innovative unsupervised feature selection algorithm attaining this stability with provable guarantees. The architecture of our algorithm consists of a feature scorer and a feature selector. The scorer trains a neural network (NN) to globally score all the features, and the selector adopts a dependent sub-NN to locally evaluate the representation abilities for selecting features. Further, we present algorithmic stability analysis and show that our algorithm has a performance guarantee via a generalization error bound. Extensive experimental results on real-world datasets demonstrate superior generalization performance of our proposed algorithm to strong baseline methods. Also, the properties revealed by our theoretical analysis and the stability of our algorithm-selected features are empirically confirmed.

연구 동기 및 목표

• 기존 비지도 특징 선택 방법에서 알고리즘 안정성 보장의 부족을 해결하기 위해.
• 이론적 한계를 갖춘 일반화 성능을 보장하는 특징 선택 알고리즘을 개발하기 위해.
• 새로운 공간으로의 변환 없이 원래 특징의 관련성을 유지함으로써 해석 가능한 특징 선택을 가능하게 하기 위해.
• 다양한 데이터 변형과 하이퍼파라미터에 걸쳐 선택된 특징의 안정성과 일반화 성질을 경험적으로 검증하기 위해.

제안 방법

• 알고리즘은 입력 특징의 복원 유용성에 기반해 모든 입력 특징에 대해 전역적으로 스코어를 부여하는 특징 스코어링을 수행하는 신경망(NN)을 사용한다.
• 고급 특징의 표현 능력을 국소적으로 평가하기 위해 종속적인 서브-신경망을 활용한다.
• 복원 오차와 정규화를 균형 잡는 공동 최적화 목표를 설정하며, 알고리즘 안정성 분석을 통해 일반화 오차 한계를 도출한다.
• 이론적 분석을 통해 균일한 안정성 한계 $\mathcal{O}\left(1/\left(n\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/n\right)$ 와 일반화 오차 한계 $\mathcal{O}\left(1/\left(\sqrt{n}\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/\sqrt{n}\right)$ 를 확립한다.
• 메인 신경망과 서브-신경망 간에 파라미터를 공유함으로써 오토에인코드와 유사한 계산 효율성을 유지한다.
• 경험적 검증은 10개의 실제 세계 데이터셋을 사용하여, 최첨단 기준 방법들과의 복원 성능 및 후행 분류 성능을 비교한다.

실험 결과

연구 질문

• RQ1 제안된 특징 선택 알고리즘이 증명 가능한 알고리즘 안정성과 일반화 오차 한계를 확보하는가?
• RQ2 선택된 특징의 성능는 복원 및 분류 작업에서 원래 전체 특징 세트와 비교해 어떻게 되는가?
• RQ3 다양한 데이터 분할과 변형에 대해 선택된 특징들은 얼마나 안정적인가?
• RQ4 표본 수 $n$, 정규화 $\lambda_1$, 선택된 특징 수 $k$ 와 같은 하이퍼파라미터들이 알고리즘의 안정성과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 $\mathcal{O}\left(1/\left(\sqrt{n}\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/\sqrt{n}\right)$ 의 일반화 오차 한계를 확보하여 이론적 성능 보장을 확인한다.
• 알고리즘은 균일한 안정성을 보이며, 학습 샘플 수 $n$ 이 증가함에 따라 안정성 한계가 감소함을 확인하여 이론적 예측과 일치한다.
• 10개의 실제 세계 데이터셋에서, 알고리즘은 데이터 복원 및 후행 분류 작업 모두에서 강력한 기준 방법들을 능가하는 성능을 보였다.
• 선택된 특징들은 원래 전체 특징 세트와 유사한 성능를 기록하여 높은 유용성과 대표성을 보여준다.
• 경험적 결과는 선택된 특징들이 다양한 무작위 데이터 분할에 걸쳐 매우 안정적이며, 반복 실험에서 거의 동일한 특징 세트가 선택됨을 확인한다.
• 계산 비용은 오토에인코드의 약 두 배이지만, 파라미터 공유와 유사한 최적화 구조 덕분에 추가 오버헤드는 미미하다.