[논문 리뷰] Tensor Sparse and Low-Rank based Submodule Clustering Method for Multi-way Data

Xinglin Piao, Yongli Hu외 4명|arXiv (Cornell University)|2016. 01. 02.

Face and Expression Recognition참고 문헌 15인용 수 8

한 줄 요약

이 논문은 t-곱 기반 텐서 모델링을 사용하여 벡터화 대신 고유한 구조를 유지함으로써 다차원 데이터에서 서브모듈 클러스터링을 위한 텐서 희소성 및 낮은 질서 표현 방법을 제안한다. 이 방법은 SSC, LRR, SSmC와 같은 최신 기법들보다 합성 데이터, 영상 및 이미지 데이터 세트에서 뛰어난 클러스터링 성능을 달성한다.

ABSTRACT

A new submodule clustering method via sparse and low-rank representation for multi-way data is proposed in this paper. Instead of reshaping multi-way data into vectors, this method maintains their natural orders to preserve data intrinsic structures, e.g., image data kept as matrices. To implement clustering, the multi-way data, viewed as tensors, are represented by the proposed tensor sparse and low-rank model to obtain its submodule representation, called a free module, which is finally used for spectral clustering. The proposed method extends the conventional subspace clustering method based on sparse and low-rank representation to multi-way data submodule clustering by combining t-product operator. The new method is tested on several public datasets, including synthetical data, video sequences and toy images. The experiments show that the new method outperforms the state-of-the-art methods, such as Sparse Subspace Clustering (SSC), Low-Rank Representation (LRR), Ordered Subspace Clustering (OSC), Robust Latent Low Rank Representation (RobustLatLRR) and Sparse Submodule Clustering method (SSmC).

연구 동기 및 목표

• 다차원 데이터를 벡터로 재구성함으로써 고유한 구조 정보를 상실하는 기존 부분공간 클러스터링 방법의 한계를 해결하기 위해.
• 이미지 및 영상 시퀀스와 같은 다차원 데이터의 자연스러운 텐서 구조를 유지하는 클러스터링 프레임워크를 개발하기 위해.
• t-곱 연산자를 사용하여 희소성 및 낮은 질서 표현 기법을 텐서 기반 서브모듈 클러스터링으로 확장하기 위해.
• 텐서 도메인에서 희소성과 낮은 질서 성질을 활용하여 다차원 데이터의 클러스터링 정확도를 향상시키기 위해.
• 실제 다차원 데이터 세트, 특히 영상 시퀀스와 이미지 데이터에서 방법의 효과성을 검증하기 위해.

제안 방법

• 다차원 데이터를 벡터로 재구성하는 대신 텐서로 모델링하여 자연스러운 다차원 구조를 유지한다.
• 텐서 표현에 대해 희소성과 낮은 질서성을 동시에 강제하는 텐서 희소성 및 낮은 질서 표현 모델을 도입한다.
• t-곱 연산자를 사용하여 행렬 기반의 희소성 및 낮은 질서 표현을 텐서 도메인으로 일반화함으로써 구조적 분해를 가능하게 한다.
• 결과로 얻어진 표현은 '자유 모듈(free module)'로 불리며, 데이터의 고유한 서브모듈 구조를 포착한다.
• 최종 클러스터링을 수행하기 위해 자유 모듈 표현에 스펙트럴 클러스터링을 적용한다.
• 최적화 문제는 교대 방향 방법의 다중승수(ADMM) 프레임워크를 사용하여 해결한다.

실험 결과

연구 질문

• RQ1 벡터화된 접근 방식에 비해 텐서 기반 희소성 및 낮은 질서 표현 모델이 다차원 데이터에서 서브모듈 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 t-곱 연산자의 사용이 클러스터링 작업에서 다차원 데이터 구조의 모델링을 어떻게 향상시키는가?
• RQ3 제안된 방법이 SSC, LRR, SSmC와 같은 최신 기술보다 다차원 데이터에서 더 우수한 성능을 보일 수 있는가?
• RQ4 자연스러운 텐서 구조를 유지할 경우 영상 및 이미지 데이터 세트에서 클러스터링 정확도가 얼마나 향상되는가?
• RQ5 영상 시퀀스와 같은 다차원 데이터의 노이즈 및 변동성에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 합성 다차원 데이터에서 SSC, LRR, OSC, RobustLatLRR, SSmC보다 높은 클러스터링 정확도를 달성한다.
• 영상 시퀀스 데이터 세트에서는 텐서 표현 덕분에 시간적 및 공간적 서브구조를 더 잘 포착함으로써 뛰어난 성능을 보인다.
• 장난감 이미지 데이터 세트에서는 벡터화를 피하기 때문에 구조적 패턴을 효과적으로 유지한다.
• t-곱을 사용한 텐서 기반 접근 방식은 행렬 기반 대비 더 정확한 서브모듈 표현을 가능하게 한다.
• 실험 결과는 자연스러운 데이터 구조를 유지할 경우 더 나은 클러스터링 결과를 도출한다는 것을 확인한다.
• 다양한 벤치마크 데이터 세트에서 일관된 성능 향상이 나타나, 이 방법이 강건성과 일반화 능력을 지닌다는 것을 보여준다.