[논문 리뷰] Self-Supervised Convolutional Subspace Clustering Network

Junjian Zhang, Chun-Guang Li외 5명|arXiv (Cornell University)|2019. 05. 01.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 9

한 줄 요약

이 논문은 종속된 특징 학습, 부분공간 군집화를 위한 자가표현, 스펙트럼 군집화를 통한 이중 자가지도 학습을 동시에 최적화하는 엔드 투 엔드 학습 가능한 자기지도 학습 프레임워크인 S2 ConvSCN을 제안한다. 군집화 출력을 활용해 특징 추출과 자가표현을 동시에 개선함으로써, COIL100에서 26.67%의 군집 오차를 기록하며 기존의 최고 성능 수준을 달성한다.

ABSTRACT

Subspace clustering methods based on data self-expression have become very popular for learning from data that lie in a union of low-dimensional linear subspaces. However, the applicability of subspace clustering has been limited because practical visual data in raw form do not necessarily lie in such linear subspaces. On the other hand, while Convolutional Neural Network (ConvNet) has been demonstrated to be a powerful tool for extracting discriminative features from visual data, training such a ConvNet usually requires a large amount of labeled data, which are unavailable in subspace clustering applications. To achieve simultaneous feature learning and subspace clustering, we propose an end-to-end trainable framework, called Self-Supervised Convolutional Subspace Clustering Network (S$^2$ConvSCN), that combines a ConvNet module (for feature learning), a self-expression module (for subspace clustering) and a spectral clustering module (for self-supervision) into a joint optimization framework. Particularly, we introduce a dual self-supervision that exploits the output of spectral clustering to supervise the training of the feature learning module (via a classification loss) and the self-expression module (via a spectral clustering loss). Our experiments on four benchmark datasets show the effectiveness of the dual self-supervision and demonstrate superior performance of our proposed approach.

연구 동기 및 목표

• 실제 시각 데이터에서 자주 위반되는 선형 부분공간에 존재한다고 가정하는 전통적인 부분공간 군집화 방법의 한계를 해결하기 위해.
• 부분공간 군집화를 위한 깊은 특징 학습에 대규모 레이블 데이터가 필요로 하는 문제를 해결하기 위해.
• 구분 가능한 특징과 부분공간 군집화를 동시에 학습할 수 있는 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 스펙트럼 군집화 출력을 활용해 특징 학습과 자가표현을 향상시키는 이중 자가지도 학습 메커니즘을 도입하기 위해.
• 수동 애너테이션이나 사전 정의된 불변 특징이 필요 없이도 뛰어난 군집 성능을 달성하기 위해.

제안 방법

• 원시 시각 데이터로부터 엔드 투 엔드 특징 학습을 위한 스택드 컨volution 오토에인코더를 통합한다.
• 각 데이터 포인트를 다른 데이터 포인트의 선형 조합으로 표현하는 자가표현 모듈을 활용하여 부분공간 군집화를 가능하게 한다.
• 가짜 레이블을 생성하여 특징 학습과 자가표현을 모두 지도하는 스펙트럼 군집화 모듈을 통합한다.
• 두 가지 자가지도 신호를 적용한다: 예측값과 스펙트럼 군집화 가짜 레이블 간의 분류 손실, 그리고 자가표현 유사도를 군집화 구조와 일치시키는 스펙트럼 군집화 손실.
• 특징 표현, 자가표현 계수, 군집 할당을 동시에 개선하기 위해 교차 최적화 전략을 사용한다.
• 재구성, 자가표현, 스펙트럼 군집화, 분류 손실를 조합한 다중 구성 요소 손실 함수를 사용하며, 적응형 무게 조정 파rameter를 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 상황에서 자기지도 학습이 부분공간 군집화 성능을 향상시킬 수 있는가?
• RQ2 스펙트럼 군집화 출력이 엔드 투 엔드 방식으로 깊은 특징 추출기의 학습을 효과적으로 이끌 수 있는가?
• RQ3 분류 손실과 스펙트럼 군집화 손실을 모두 활용한 이중 자가지도 학습이 단일 지도 학습 또는 자가표현 전용 접근 방식보다 더 높은 군집 정확도를 달성하는가?
• RQ4 특징 학습, 자가표현, 군집화를 동시에 최적화하는 통합 프레임워크가 표준 벤치마크에서 기존 최고 수준의 방법을 초월할 수 있는가?
• RQ5 실제 시각 데이터에서 자세, 표정, 변형 등의 데이터 변형에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• S2 ConvSCN-ℓ₁와 S2 ConvSCN-ℓ₂는 각각 ORL에서 10.50%와 11.25%의 군집 오차를 기록하여 DSC-ℓ₁(14.25%)과 DASC(11.75%)를 능가했다.
• COIL20에서 이 방법은 S2 ConvSCN-ℓ₁가 2.14%, S2 ConvSCN-ℓ₂가 2.33%의 군집 오차를 기록하여 DSC-ℓ₁(5.65%)과 DASC(3.61%)보다 크게 향상되었다.
• COIL100에서 S2 ConvSCN-ℓ₁는 26.67%의 군집 오차를 기록하여 DSC-ℓ₁(33.62%)과 DSC-ℓ₂(30.96%)보다 뚜렷한 개선을 보였다.
• 이중 자가지도 학습 메커니즘이 수렴 속도를 높이고 학습을 더 안정적으로 만들었으며, 최적화 과정에서 비용 함수와 군집 오차 곡선의 평탄함으로 이를 확인할 수 있었다.
• 상대적 스펙트럼 군집화 비용 비율(‖C‖_Q / ‖C‖₁)이 군집 오차와 강하게 상관되어 있어, 이 지표가 성능 평가에 적합함을 검증하였다.
• 특징 학습 과정에서 암묵적으로 불변성을 학습함으로써, 명시적 데이터 증강이나 정렬 없이도 데이터 변형에 대해 강인함을 입증하였다.