[논문 리뷰] Multilayer Collaborative Low-Rank Coding Network for Robust Deep Subspace Discovery

Xianzhen Li, Zhao Zhang외 4명|arXiv (Cornell University)|2019. 12. 13.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 7

한 줄 요약

이 논문은 다층 협업 저질서 코딩 네트워크인 DeepLRR를 제안하며, 계층적인 특징과 부분공간을 계층적으로 학습하기 위해 다층 간 이중선형 저질서 표현을 통해 데이터를 반복적으로 재구성한다. 이는 잡음에 대한 강건성을 향상시키고 부분공간 탐지 성능을 향상시키기 위해 동적 증가하는 희소 오차 복구와 이웃 재구성 기법을 통합함으로써 기존 모델보다 공개 벤치마크에서 뛰어난 성능을 발휘한다.

ABSTRACT

For subspace recovery, most existing low-rank representation (LRR) models performs in the original space in single-layer mode. As such, the deep hierarchical information cannot be learned, which may result in inaccurate recoveries for complex real data. In this paper, we explore the deep multi-subspace recovery problem by designing a multilayer architecture for latent LRR. Technically, we propose a new Multilayer Collabora-tive Low-Rank Representation Network model termed DeepLRR to discover deep features and deep subspaces. In each layer (>2), DeepLRR bilinearly reconstructs the data matrix by the collabo-rative representation with low-rank coefficients and projection matrices in the previous layer. The bilinear low-rank reconstruc-tion of previous layer is directly fed into the next layer as the input and low-rank dictionary for representation learning, and is further decomposed into a deep principal feature part, a deep salient feature part and a deep sparse error. As such, the coher-ence issue can be also resolved due to the low-rank dictionary, and the robustness against noise can also be enhanced in the feature subspace. To recover the sparse errors in layers accurately, a dynamic growing strategy is used, as the noise level will be-come smaller for the increase of layers. Besides, a neighborhood reconstruction error is also included to encode the locality of deep salient features by deep coefficients adaptively in each layer. Extensive results on public databases show that our DeepLRR outperforms other related models for subspace discovery and clustering.

연구 동기 및 목표

• 복잡한 데이터에 대한 깊이 있는 계층적 특징을 포착하는 데에 한계가 있는 단층 저질서 표현(LRR) 모델의 문제점을 해결하기 위해.
• 심층 구조 정보 모델링가 부족하여 실세계 데이터에서 부분공간 복구가 정확하지 않은 문제를 극복하기 위해.
• 다중 층에서 저질서 표현, 주목할 만한 특징, 희소 오차를 동시에 학습하는 딥 아키텍처를 개발하기 위해.
• 층수 증가에 따라 잡음 수준이 감소함에 따라 동적으로 적응하는 희소 오차 복구 전략을 통해 잡음에 대한 강건성을 향상시키기 위해.
• 각 층에서 적응적인 이웃 재구성 기법을 통해 깊이 있는 특징의 국소적 구조를 유지하기 위해.

제안 방법

• DeepLRR는 각 층이 이전 층의 저질서 계수와 투영 행렬을 사용하여 이중선형 재구성 작업을 수행하는 다층 아키텍처를 채택한다.
• 모델은 이중선형 재구성을 세 구성 요소로 분해한다: 깊이 있는 주성분 특징, 깊이 있는 주목할 만한 특징, 깊이 있는 희소 오차.
• 희소 오차 복구에 대해 동적 증가 전략을 적용하여 층이 깊어질수록 잡음 수준이 감소함에 따라 정확도가 향상된다.
• 각 층에 이웃 재구성 오차를 통합하여 깊이 있는 주목할 만한 특징의 국소적 구조를 적응적으로 인코딩한다.
• 각 층의 저질서 사전은 일관성을 감소시키고 표현 안정성을 향상시킨다.
• 전체 네트워크는 끝에서 끝까지 훈련되어 저질서, 희소, 국소 재구성 항목을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 다층 아키텍처는 단층 LRR 모델을 초월해 계층적 특징 표현을 포착함으로써 딥 부분공간 탐지 성능을 향상시킬 수 있는가?
• RQ2 저질서 코딩을 다중 층으로 확장하여 실세계 데이터에서 잡음에 대한 강건성을 향상시킬 수 있는가?
• RQ3 다양한 층을 통해 동적 희소 오차 복구 전략이 재구성 정확도와 부분공간 클러스터링 성능에 얼마나 기여하는가?
• RQ4 이웃 재구성 오차를 통합함으로써 깊이 있는 표현 학습에서 국소적 특징 보존이 얼마나 향상되는가?
• RQ5 제안된 다층 협업 저질서 코딩 프레임워크는 기존 최첨단 부분공간 클러스터링 모델을 초월할 수 있는가?

주요 결과

• DeepLRR는 여러 공개 데이터셋에서 부분공간 클러스터링 성능에서 최첨단 성능을 달성하여 기존의 LRR 기반 및 딥 부분공간 학습 모델을 모두 압도한다.
• 동적 희소 오차 복구 전략은 특히 잡음 수준이 감소하는 깊이 있는 층에서 잡음에 대한 강건성을 크게 향상시킨다.
• 이웃 재구성 오차를 통합함으로써 국소 데이터 구조의 보존이 향상되어 클러스터링 정확도가 향상된다.
• 다층 설계 덕분에 계층적 특징 추상화를 활용하여 고차원 복잡한 데이터의 정확한 복구가 가능해졌다.
• 실세계 데이터에서 뛰어난 일반화 성능을 보이며, Extended YaleB, CMU-PIE, MNIST와 같은 벤치마크 데이터셋에서 일관된 성능 향상을 보였다.