[논문 리뷰] Online Unsupervised Multi-view Feature Selection

Weixiang Shao, Lifang He외 3명|arXiv (Cornell University)|2016. 09. 27.

Data Stream Mining Techniques참고 문헌 27인용 수 9

한 줄 요약

이 논문은 메모리 사용을 최소화하면서 대규모 또는 스트리밍 다중뷰 데이터를 실시간으로 처리할 수 있는 최초의 온라인 비지도 다중뷰 특징 선택 방법인 OMVFS를 제안한다. 비음수 행렬 분해와 그래프 정규화, 그리고 점진적 학습을 통합함으로써 OMVFS는 국소적 구조를 유지하면서도 개념 이동에 적응하는 분류 가능한 특징을 선택하며, 성능 손실 없이 오프라인 방법 대비 최대 100배 빠른 속도를 달성한다.

ABSTRACT

In the era of big data, it is becoming common to have data with multiple modalities or coming from multiple sources, known as "multi-view data". Multi-view data are usually unlabeled and come from high-dimensional spaces (such as language vocabularies), unsupervised multi-view feature selection is crucial to many applications. However, it is nontrivial due to the following challenges. First, there are too many instances or the feature dimensionality is too large. Thus, the data may not fit in memory. How to select useful features with limited memory space? Second, how to select features from streaming data and handles the concept drift? Third, how to leverage the consistent and complementary information from different views to improve the feature selection in the situation when the data are too big or come in as streams? To the best of our knowledge, none of the previous works can solve all the challenges simultaneously. In this paper, we propose an Online unsupervised Multi-View Feature Selection, OMVFS, which deals with large-scale/streaming multi-view data in an online fashion. OMVFS embeds unsupervised feature selection into a clustering algorithm via NMF with sparse learning. It further incorporates the graph regularization to preserve the local structure information and help select discriminative features. Instead of storing all the historical data, OMVFS processes the multi-view data chunk by chunk and aggregates all the necessary information into several small matrices. By using the buffering technique, the proposed OMVFS can reduce the computational and storage cost while taking advantage of the structure information. Furthermore, OMVFS can capture the concept drifts in the data streams. Extensive experiments on four real-world datasets show the effectiveness and efficiency of the proposed OMVFS method. More importantly, OMVFS is about 100 times faster than the off-line methods.

연구 동기 및 목표

• 메모리 용량을 초과하는 고차원의 레이블이 없는 다중뷰 데이터로부터 유용한 특징을 선택하는 데 도전한다.
• 데이터가 점진적으로 도착하고 패턴이 시간이 지남에 따라 변화하는 개념 이동이 있는 데이터 스트림에서의 특징 선택을 가능하게 한다.
• 다양한 뷰 간의 일관성 있고 상호보완적인 정보를 활용하여 특징 선택 성능을 향상시킨다.
• 모든 이력 데이터를 저장하지 않으면서도 높은 정확도를 유지하는 확장성 있고 메모리 효율적인 방법을 개발한다.
• 온라인 학습, 다중뷰 통합, 분류 가능한 특징 선택을 하나의 통합 프레임워크 안에서 결합한 솔루션을 제공한다.

제안 방법

• OMVFS는 비음수 행렬 분해(NMF)를 사용하여 비지도 특징 선택을 군집 목적 함수에 통합한다.
• 국소적 데이터 구조를 유지하고 특징의 분류 가능성을 향상시키기 위해 그래프 정규화를 통합한다.
• 공동 NMF 설정은 모든 뷰를 통해 일致한 군집 지표 행렬을 학습함으로써 다중뷰 통합을 가능하게 한다.
• 방식은 데이터를 청크 단위로 처리하며, 모든 이력 데이터를 저장하지 않고도 작은 집계 행렬만을 업데이트하는 점진적 최적화 전략을 사용한다.
• 버퍼링 기법을 도입하여 모델의 적응성을 유지하고 스트리밍 데이터에서의 개념 이동을 탐지한다.
• 분해된 행렬에 대한 희소 학습을 통해 특징 선택을 달성하며, 정보가 풍부한 특징의 선택을 촉진한다.

실험 결과

연구 질문

• RQ1 제한된 메모리로 대규모 또는 스트리밍 다중뷰 데이터를 효과적으로 처리할 수 있는 온라인 특징 선택 방법은 가능한가?
• RQ2 여러 뷰 간의 일관성 있고 상호보완적인 정보는 어떻게 활용하여 비지도 특징 선택 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 다시 시작하지 않고도 스트리밍 데이터에서의 개념 이동을 탐지하고 적응할 수 있는가?
• RQ4 정확도와 효율성 측면에서 온라인 방법은 오프라인 다중뷰 특징 선택 방법과 어떻게 비교되는가?
• RQ5 정규화 가중치와 배치 크기와 같은 하이퍼파rameter 선택에 대해 얼마나 강인한가?

주요 결과

• OMVFS는 최고의 오프라인 다중뷰 특징 선택 방법 대비 성능 손실 없이 최대 100배 빠른 추론 속도를 달성한다.
• 방식은 다양한 배치 크기에서 안정적인 성능을 보이며, 데이터 청크 전략에 대한 강인함을 나타낸다.
• OMVFS는 하이퍼파ram터 αv와 βv에 대해 상대적으로 민감하지 않으며, 선택된 특징 수가 증가할수록 성능이 점진적으로 향상된다.
• 버퍼링 메커니즘은 OMVFS가 스트리밍 데이터에서의 개념 이동을 효과적으로 포착하고 시간이 지나도 모델의 관련성을 유지하는 데 기여한다.
• 네 개인 실세계 데이터셋에 대한 광범위한 실험을 통해 OMVFS는 메모리 제약과 스트리밍 환경 조건 하에서도 군집화 및 특징 선택 작업에서 높은 정확도를 유지함을 확인했다.
• 그래프 정규화와 공통 군집화의 통합은 기준 방법 대비 특징의 분류 가능성을 크게 향상시킨다.