[논문 리뷰] Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection

Zhengxin Li, Feiping Nie외 2명|arXiv (Cornell University)|2020. 12. 29.

Face and Expression Recognition참고 문헌 26인용 수 7

한 줄 요약

이 논문은 차원 축소를 위한 희소 투영 행렬을 학습하기 위해 복원 오차 최소화와 ℓ₂,ₚ-노름 정규화를 통합한 새로운 비지도 특성 선택 방법인 SPCAFS를 제안한다. 이 방법은 다양한 실세계 데이터셋에서 상태기반 기준보다 최대 5% 높은 정확도와 3% 높은 정규화된 상호정보량을 기록하며 뛰어난 클러스터링 성능를 달성하였으며, 빠른 수렴성과 낮은 계산 복잡도를 유지한다.

ABSTRACT

In the field of data mining, how to deal with high-dimensional data is an inevitable problem. Unsupervised feature selection has attracted more and more attention because it does not rely on labels. The performance of spectral-based unsupervised methods depends on the quality of constructed similarity matrix, which is used to depict the intrinsic structure of data. However, real-world data contain a large number of noise samples and features, making the similarity matrix constructed by original data cannot be completely reliable. Worse still, the size of similarity matrix expands rapidly as the number of samples increases, making the computational cost increase significantly. Inspired by principal component analysis, we propose a simple and efficient unsupervised feature selection method, by combining reconstruction error with $l_{2,p}$-norm regularization. The projection matrix, which is used for feature selection, is learned by minimizing the reconstruction error under the sparse constraint. Then, we present an efficient optimization algorithm to solve the proposed unsupervised model, and analyse the convergence and computational complexity of the algorithm theoretically. Finally, extensive experiments on real-world data sets demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 기존 스펙트럴 방법이 노이즈가 많은 특성과 유사도 행렬 구성에 민감한 고차원 데이터 문제를 해결한다.
• 클래스 레이블에 의존하지 않고 내재된 데이터 구조를 유지하는 효율적이고 레이블 없는 특성 선택 방법을 개발한다.
• 기존 필터 및 워퍼 방법의 한계를 극복하기 위해 구조적 희박성과 함께 저질서 복원 프레임워크 내에 특성 선택을 통합한다.
• 확장성 보장을 위해 이론적 수렴 보장을 갖춘 최적화 알고리즘과 선형 계산 복잡도를 설계한다.
• 다양한 실세계 데이터셋에서 하이퍼파ram터 선택에 대한 민감도가 낮고 뛰어난 성능을 유지함을 입증한다.

제안 방법

• 희소 투영 행렬 W를 사용하여 데이터의 복원 오차를 최소화하는 저질서 복원 문제로 비지도 특성 선택을 공식화한다.
• 투영 행렬 W에 대해 ℓ₂,ₚ-노름 정규화를 도입하여 행 단위의 희박성을 유도함으로써 특성 선택을 촉진하면서도 안정적인 최적화를 위한 볼록성을 유지한다.
• 비볼록 문제를 해결하기 위해 이중 단계의 교대 최적화 알고리즘을 사용한다: 복원을 고정한 상태에서 W를 갱신하고, 그 다음 W를 고정한 상태에서 복원을 갱신한다.
• 목적 함수는 데이터 복원 오차와 ℓ₂,ₚ 정규화를 조합하며, min ||X - XW||_F² + γ||W||₂,ₚ로 표현되며, 여기서 γ는 희박성 조절을 위한 하이퍼파ram터이다.
• 최적화 알고리즘의 수렴성을 증명하고, 샘플 수에 대해 선형 계산 복잡도로 분석한다.
• 실세계 데이터셋에 방법을 적용하여 레이블이 필요 없이 학습된 희소 투영 행렬에 기반해 특성을 선택한다.

실험 결과

연구 질문

• RQ1 ℓ₂,ₚ-노름 정규화가 비지도 특성 선택을 위한 투영 행렬에 효과적으로 희박성을 유도할 수 있는가?
• RQ2 제안된 방법은 기존 비지도 특성 선택 기법과 비교해 클러스터링 정확도와 정규화된 상호정보량 측면에서 어떻게 성능을 내는가?
• RQ3 제안된 최적화 알고리즘의 수렴 특성과 계산 효율성은 어떠한가?
• RQ4 방법의 성능는 하이퍼파ram터 γ와 m의 선택에 얼마나 민감한가? ℓ₂,ₚ-노름 정규화에서 최적의 p 값은 무엇인가?
• RQ5 다양한 차원과 노이즈 수준을 가진 다양한 실세계 데이터셋에서도 성능이 안정적으로 유지되는가?

주요 결과

• SPCAFS는 모든 테스트 데이터셋에서 기준 방법 대비 클러스터링 정확도와 정규화된 상호정보량(NMI)을 크게 향상시켰으며, Imm40 데이터셋에서 두 번째로 우수한 방법인 MCFS보다 최대 5% 높은 정확도와 3% 높은 NMI를 기록했다.
• 목적 함수 값이 모든 데이터셋에서 빠르게 안정화되어 제안된 최적화 알고리즘의 효율성을 확인했다.
• γ와 m 값의 넓은 범위에서 성능가 안정되어 있어 하이퍼파ram터 튜닝에 대한 민감도가 낮으며, 실용적 사용성을 높였다.
• ℓ₂,ₚ-노름 정규화에서 p = 1으로 설정할 경우 최적의 성능를 기록했으며, p를 1 이하로 낮추면 비볼록성 증가와 최적화 난이도 증가로 인해 성능이 악화되었다.
• 선택된 특성 수가 증가함에 따라 클러스터링 성능는 처음에는 향상되고 나중에 저하됨을 확인하여, 과다 선택된 중복 특성이 성능을 떨어뜨린다는 점을 입증했다.
• PalmData25 데이터셋에서 SPCAFS는 모든 경쟁 방법보다 뛰어난 성능를 기록했으며, 전체 특성 기반 베이스라인 대비 略로 떨어지더라도 일관된 효과성을 보였다.