[논문 리뷰] Robust Subspace Discovery by Block-diagonal Adaptive Locality-constrained Representation

Zhao Zhang, Jiahuan Ren외 4명|arXiv (Cornell University)|2019. 08. 04.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 블록 대각 정규화를 활용한 프로베니우스 노름 기반 저질서 표현을 사용하여 다중 부분공간 구조를 동시에 복원하고 적응형 국소성 유지 특징을 추출하는 새로운 비지도 표현 학습 모델인 rBDLR를 제안한다. 청소된 데이터 공간에서 잠재 표현과 적응형 가중치를 수행하고, 재구성 오차 최소화 및 블록 대각 정규화를 통해 코딩 계수에 블록 대각 구조를 강제함으로써 rBDLR는 이상치에 대해 강건성을 확보하면서 국소적 특징 구조를 유지하며, 부분공간 탐지 작업에서 최신 기법들을 능가한다.

ABSTRACT

We propose a novel and unsupervised representation learning model, i.e., Robust Block-Diagonal Adaptive Locality-constrained Latent Representation (rBDLR). rBDLR is able to recover multi-subspace structures and extract the adaptive locality-preserving salient features jointly. Leveraging on the Frobenius-norm based latent low-rank representation model, rBDLR jointly learns the coding coefficients and salient features, and improves the results by enhancing the robustness to outliers and errors in given data, preserving local information of salient features adaptively and ensuring the block-diagonal structures of the coefficients. To improve the robustness, we perform the latent representation and adaptive weighting in a recovered clean data space. To force the coefficients to be block-diagonal, we perform auto-weighting by minimizing the reconstruction error based on salient features, constrained using a block-diagonal regularizer. This ensures that a strict block-diagonal weight matrix can be obtained and salient features will possess the adaptive locality preserving ability. By minimizing the difference between the coefficient and weights matrices, we can obtain a block-diagonal coefficients matrix and it can also propagate and exchange useful information between salient features and coefficients. Extensive results demonstrate the superiority of rBDLR over other state-of-the-art methods.

연구 동기 및 목표

• 비지도 표현 학습에서 노이즈와 이상치가 존재하는 상황에서도 강건한 다중 부분공간 구조 탐지 문제에 대응한다.
• 국소적 구조를 적응적으로 유지하면서 코딩 계수와 특징을 동시에 학습한다.
• 동일한 부분공간에 속하는 데이터 포인트가 함께 묶이도록 코딩 계수 행렬에 블록 대각 구조를 강제한다.
• 청소된 데이터 공간에서 작업하고 적응형 가중치를 사용함으로써 특징 표현을 향상시켜 강건성을 향상시킨다.
• 계수-가중치 행렬 정렬을 통해 특징과 계수 간의 정보 전파를 가능하게 한다.

제안 방법

• 프로베니우스 노름 기반 잠재 저질서 표현 모델을 수립하여 코딩 계수와 특징을 동시에 학습한다.
• 청소된 깨끗한 데이터 공간에서 잠재 표현과 적응형 가중치를 수행하여 데이터 오류와 이상치에 대한 강건성을 향상시킨다.
• 코딩 계수 행렬에 블록 대각 정규화를 적용하여 엄격한 블록 대각 구조를 강제함으로써 부분공간 클러스터링을 촉진한다.
• 특징 기반 재구성 오차 최소화를 통해 자동 가중치를 구현하고 국소성 유지의 적응성을 확보한다.
• 계수 행렬과 가중치 행렬 간의 차이를 최소화하여 두 행렬 간의 정렬을 강제함으로써 특징과 계수 간의 정보 교환을 가능하게 한다.
• 블록 대각 구조와 강건성을 보장하는 제약 조건을 갖는 최적화 기법을 사용하여 공동 학습 문제를 해결한다.

실험 결과

연구 질문

• RQ1 노이즈와 이상치가 존재하는 비지도 환경에서 다중 부분공간 구조를 동시에 복원하고 국소 데이터 구조를 유지하면서 적응형 특징을 추출할 수 있는 방법은 무엇인가?
• RQ2 청소된 깨끗한 데이터 공간에서 표현 학습을 수행할 경우 이상치와 노이즈에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 코딩 계수에 블록 대각 구조를 강제하는 것이 부분공간 클러스터링 성능과 특징의 적응성 향상에 기여하는가?
• RQ4 특징 기반 적응형 가중치가 표현 학습 과정에서 국소성 유지에 어떻게 기여하는가?
• RQ5 계수 행렬과 가중치 행렬 간의 정렬이 특징과 계수의 공동 최적화에 얼마나 기여하는가?

주요 결과

• 광범위한 실험 결과를 통해 rBDLR는 최신 기법들에 비해 다중 부분공간 탐지 작업에서 뛰어난 성능을 달성한다.
• 블록 대각 정규화는 동일한 부분공간에 속하는 데이터 포인트가 함께 묶이도록 함으로써 부분공간 클러스터링을 효과적으로 강제한다.
• 청소된 깨끗한 데이터 공간에서 작업하는 것은 이상치 및 데이터 손상에 대한 강건성을 크게 향상시킨다.
• 특징 기반 적응형 국소성 유지 가중치는 표현 품질 향상과 국소 구조 유지에 기여한다.
• 계수 행렬과 가중치 행렬 간의 정렬은 효과적인 정보 전파를 가능하게 하여 특징 학습과 계수 학습 모두를 향상시킨다.
• 다양한 데이터셋에서 높은 일반화 능력과 안정성을 보이며, 실제 환경에서의 효과성을 확인한다.