[논문 리뷰] Multi-view Unsupervised Feature Selection by Cross-diffused Matrix Alignment

Xiaokai Wei, Bokai Cao외 1명|arXiv (Cornell University)|2017. 05. 02.

Face and Expression Recognition참고 문헌 27인용 수 5

한 줄 요약

이 논문은 클러스터 레이블 기반 접근 방식보다 더 풍부한 정보를 유지하기 위해 상호 확산 행렬 정렬을 사용하는 새로운 비지도 다중뷰 특성 선택 방법인 CDMA-FS를 제안한다. 특성 선택을 쿼asi-뉴턴 방법으로 해결하는 제약 조건이 있는 최적화 문제로 공식화함으로써, CDMA-FS는 실제 데이터셋에서 최첨단 기법들보다 뛰어난 클러스터링 성능을 달성하며, 진정한 레이블이 없어도 성능을 냅니다.

ABSTRACT

Multi-view high-dimensional data become increasingly popular in the big data era. Feature selection is a useful technique for alleviating the curse of dimensionality in multi-view learning. In this paper, we study unsupervised feature selection for multi-view data, as class labels are usually expensive to obtain. Traditional feature selection methods are mostly designed for single-view data and cannot fully exploit the rich information from multi-view data. Existing multi-view feature selection methods are usually based on noisy cluster labels which might not preserve sufficient information from multi-view data. To better utilize multi-view information, we propose a method, CDMA-FS, to select features for each view by performing alignment on a cross diffused matrix. We formulate it as a constrained optimization problem and solve it using Quasi-Newton based method. Experiments results on four real-world datasets show that the proposed method is more effective than the state-of-the-art methods in multi-view setting.

연구 동기 및 목표

• 노이즈가 많은 클러스터 레이블에 의존하는 기존 비지도 다중뷰 특성 선택 방법의 한계를 해결하기 위해.
• 상호 확산을 통해 공통 유사도 그래프를 구성하여 다중뷰 데이터의 더 정확하고 정보가 풍부한 표현을 유지하기 위해.
• 직접 상호 확산 행렬을 통해 행렬 정렬을 활용하여 클래스 레이블에 의존하지 않고 효과적인 특성 선택을 가능하게 하기 위해.
• 실제 비지도 환경에서 레이블이 제공되지 않는 상황에서 실용적으로 구현할 수 있도록 파라미터 설정 가이드라인을 제공하기 위해.

제안 방법

• 다양한 뷰 간의 정보를 통합하여 더 풍부한 구조적 관계를 유지하는 상호 확산 과정을 통해 공통 유사도 그래프를 구성한다.
• 선택된 특성 행렬이 상호 확산 행렬과 정렬되도록 하여 데이터 구조를 유지하는 제약 조건이 있는 최적화 문제로 특성 선택을 공식화한다.
• 비선형이고 비볼록인 목적 함수를 효율적이고 안정적인 수렴을 가능하게 하기 위해 쿼아-뉴턴 기반 최적화 방법을 사용한다.
• 각 뷰의 영향력을 조절하기 위해 상호 확산 과정에 정규화 파라미터 α를 도입하고, 경험적 가이드라인을 통해 α를 설정한다.
• 최적화를 단순화하고 해석 가능성을 향상시키기 위해 확산 행렬 W에 0/1 가중치 체계를 적용한다.
• 데이터 포인트에 대해 단위 길이 정규화를 수행하고 σ² = 1을 고정하여 데이터셋 간의 확산 과정을 안정화시킨다.

실험 결과

연구 질문

• RQ1 비지도 특성 선택에서 클러스터 레이블보다 상호 확산 행렬 표현이 다중뷰 데이터의 구조를 더 잘 유지할 수 있는가?
• RQ2 상호 확산 행렬과의 직접적인 행렬 정렬은 가짜 레이블 기반 회귀에 비해 특성 선택 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법은 하이퍼파rameter α에 대해 얼마나 민감한가? 그리고 감독 없이도 신뢰성 있게 튜닝할 수 있는가?
• RQ4 특성 선택 파라미터를 진짜 레이블 없이 튜닝하지 않은 상태에서도 CDMA-FS는 최첨단 비지도 다중뷰 특성 선택 기법들보다 클러스터링 정확도와 NMI 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ5 다양한 특성 차원과 뷰 구조를 가진 실제 데이터셋 간에서 제안된 방법이 안정적인 성능을 유지할 수 있는가?

주요 결과

• BBCSport와 BlogCatalog에서 CDMA-FS는 모든 특성을 사용할 때보다 400개의 특성만 사용할 경우 각각 26%, 15% 높은 클러스터링 정확도를 달성한다.
• 모든 네 개인 실제 데이터셋에서, CDMA-FS는 진짜 레이블 없이 파라미터 튜닝을 하지 않은 최상의 베이스라인 기법들과 비교해도 성능이 유사하거나 뛰어나다.
• 정규화 파rameter α의 선택에 대해 매우 강인하며, α > 10⁻⁵일 경우 좋은 성능을 유지한다. 반면, 기존 기법들은 파라미터 값에 매우 민감하다.
• 베이스라인 기법들의 중앙값 성능는 최고 성능에 비해 뚜렷이 열등하여, 레이블 없이 파라미터를 튜닝하는 데서 발생하는 실용적 한계를 드러낸다. CDMA-FS는 안정적이고 레이블 없는 파라미터 설정을 통해 이를 해결한다.
• 상호 확산 행렬 정렬을 활용함으로써 클러스터 레이블 기반 방법보다 더 나은 데이터 구조 유지가 가능해져 더 정보가 풍부한 특성 선택이 가능하다.
• 제안된 방법은 고차원적이고 노이즈가 많은 데이터, 예를 들어 소셜 미디어 및 뉴스 콘텐츠와 같은 다양한 실제 데이터셋 간에서 강력한 일반화 성능을 보이며 실용적 유용성을 확인한다.