[논문 리뷰] Subspace Clustering by Block Diagonal Representation

Canyi Lu, Jiashi Feng외 3명|arXiv (Cornell University)|2018. 05. 23.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 5

한 줄 요약

이 논문은 새로운 k-블록 대각 정규화자를 통해 표현 행렬에 블록 대각 구조를 직접 강제하는 새로운 부분공간 군집 방법인 블록 대각 표현(Block Diagonal Representation, BDR)을 제안한다. 기존 방법들이 희박성 또는 낮은 질량 제약을 통해 간접적으로 블록 대각 구조를 촉진하는 데 반해, BDR는 목표 군집 구조를 직접 모델링함으로써 실세계 데이터셋인 MNIST와 Extended Yale B에서 더 높은 군집 정확도와 효율성을 달성한다.

ABSTRACT

This paper studies the subspace clustering problem. Given some data points approximately drawn from a union of subspaces, the goal is to group these data points into their underlying subspaces. Many subspace clustering methods have been proposed and among which sparse subspace clustering and low-rank representation are two representative ones. Despite the different motivations, we observe that many existing methods own the common block diagonal property, which possibly leads to correct clustering, yet with their proofs given case by case. In this work, we consider a general formulation and provide a unified theoretical guarantee of the block diagonal property. The block diagonal property of many existing methods falls into our special case. Second, we observe that many existing methods approximate the block diagonal representation matrix by using different structure priors, e.g., sparsity and low-rankness, which are indirect. We propose the first block diagonal matrix induced regularizer for directly pursuing the block diagonal matrix. With this regularizer, we solve the subspace clustering problem by Block Diagonal Representation (BDR), which uses the block diagonal structure prior. The BDR model is nonconvex and we propose an alternating minimization solver and prove its convergence. Experiments on real datasets demonstrate the effectiveness of BDR.

연구 동기 및 목표

• 다양한 기존 부분공간 군집 방법에서 관찰되는 블록 대각 성질에 대한 통합 이론적 보장을 제공하는 것.
• 희박성 또는 낮은 질량과 같은 간접적 정규화 방식의 한계를 해결하여 블록 대각 구조를 직접 촉진하는 것.
• 표현 행렬의 블록 대각 구조를 직접 유도하는 최초의 k-블록 대각 행렬 유도 정규화자 제안.
• BDR 모델을 위한 비볼록 최적화 프레임워크를 개발하고 수렴 보장을 제공하는 것.
• 실세계 부분공간 군집 벤치마크에서 BDR의 효과성과 효율성을 입증하는 것.

제안 방법

• 표현 행렬의 블록 대각 구조를 직접 강제하기 위해 새로운 k-블록 대각 정규화자를 제안한다.
• 새로운 정규화자를 통합한 비볼록 최적화 문제인 블록 대각 표현(Block Diagonal Representation, BDR) 모델을 도입한다.
• 약한 조건 하에 수렴 증명이 가능한 교대 최소화 알고리즘을 개발하여 BDR 모델을 해결한다.
• 최종 군집을 위해 학습된 블록 대각 표현에 스펙트럴 군집을 적용한다.
• 블록 단위의 행렬 구조를 통해 구조적 희박성을 촉진하는 비볼록 페널티 함수를 활용한다.
• 리아푸노프 함수 접근법을 통해 해법의 수렴성을 분석하여 목적 함수 값이 단조 감소함을 증명한다.

실험 결과

연구 질문

• RQ1 다양한 부분공간 군집 방법에서 관찰되는 블록 대각 성질을 설명할 수 있는 통합 이론적 프레임워크를 제공할 수 있는가?
• RQ2 희박성 또는 낮은 질량과 같은 간접적 사전 지식에 의존하지 않고도 표현 행렬의 블록 대각 구조를 직접 촉진할 수 있는가?
• RQ3 전용 k-블록 대각 정규화자가 군집 성능 및 계산 효율성에 미치는 영향은 어떠한가?
• RQ4 비볼록 BDR 모델은 이론적 수렴 보장과 함께 효율적으로 해결될 수 있는가?
• RQ5 BDR는 SSC, LRR, S3C와 같은 최첨단 방법들과 비교해 군집 정확도와 런타임 측면에서 어떻게 성능을 내는가?

주요 결과

• 모든 시험된 주제 수에서 MNIST 데이터셋에서 BDR-B와 BDR-Z가 SSC, LRR, S3C, SCC를 모두 능가하는 최저의 군집 오차를 기록한다.
• BDR-B는 SSC와 S3C보다 상당히 낮은 계산 시간을 기록하며, LSR 수준의 효율성에 가까워지면서도 뛰어난 정확도를 유지한다.
• 5명의 주제를 가진 MNIST 서브셋에서 알고리즘 1의 목적 함수 값이 반복 과정 동안 단조 감소함을 확인하여 수렴 분석을 뒷받침한다.
• 제안된 k-블록 대각 정규화자는 블록 대각 구조를 직접 모델링할 수 있게 해 더 정확하고 강건한 군집을 가능하게 한다.
• 엄격한 가정 없이도 교대 최소화 해법의 수렴성을 증명함으로써 실용적 신뢰성을 입증한다.
• Extended Yale B와 MNIST와 같은 실세계 데이터셋에서 뛰어난 일반화 성능을 보이며 일관된 성능 향상을 보였다.