[논문 리뷰] Deep Self-representative Concept Factorization Network for Representation Learning

Yan Zhang, Zhao Zhang외 5명|arXiv (Cornell University)|2019. 12. 13.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 강력한 딥 컨셉 분해, 딥 자기 표현 표현, 그리고 적응형 국소성 유지 학습을 통합하여 클러스터링 성능을 향상시키는 새로운 딥 표현 학습 프레임워크인 딥 자기 표현 개념 분해 네트워크(DSCF-Net)를 제안한다. 계층적 분해, 복원된 부분공간에서의 희소 오류 보정, 적응형 재구성 가중치를 통해 DSCF-Net은 여러 공개 벤치마크에서 최신 기술 수준의 클러스터링 성능를 달성한다.

ABSTRACT

In this paper, we investigate the unsupervised deep representation learning issue and technically propose a novel framework called Deep Self-representative Concept Factorization Network (DSCF-Net), for clustering deep features. To improve the representation and clustering abilities, DSCF-Net explicitly considers discovering hidden deep semantic features, enhancing the robustness proper-ties of the deep factorization to noise and preserving the local man-ifold structures of deep features. Specifically, DSCF-Net seamlessly integrates the robust deep concept factorization, deep self-expressive representation and adaptive locality preserving feature learning into a unified framework. To discover hidden deep repre-sentations, DSCF-Net designs a hierarchical factorization architec-ture using multiple layers of linear transformations, where the hierarchical representation is performed by formulating the prob-lem as optimizing the basis concepts in each layer to improve the representation indirectly. DSCF-Net also improves the robustness by subspace recovery for sparse error correction firstly and then performs the deep factorization in the recovered visual subspace. To obtain locality-preserving representations, we also present an adaptive deep self-representative weighting strategy by using the coefficient matrix as the adaptive reconstruction weights to keep the locality of representations. Extensive comparison results with several other related models show that DSCF-Net delivers state-of-the-art performance on several public databases.

연구 동기 및 목표

• 기존의 딥 표현 학습 방법이 계층적 의미 특징을 포착하고 국소 다양체 구조를 유지하는 데에 한계를 보이는 문제를 해결하기 위해.
• 클러스터링 과정에서 딥 특징 표현에 대한 노이즈와 이방성에 대한 강건성을 향상시키기 위해.
• 자기 표현, 개념 분해, 국소성 유지 학습을 하나의 딥 신경망 프레임워크로 통합하기 위해.
• 계수 기반 가중치를 통한 적응형 국소성 인식 표현 학습을 통해 클러스터링 성능 향상시키기 위해.
• 비지도 딥 클러스터링을 위한 표준 공개 데이터셋에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 계층적 분해 아키텍처를 사용하여 다중 레이어의 선형 변환을 통해 깊이 있는 계층적 표현을 학습한다.
• 딥 분해 이전에 부분공간 복원을 통한 희소 오류 보정을 적용하여 노이즈와 이방성에 대한 강건성을 향상시킨다.
• 각 샘플을 다른 샘플들의 선형 조합으로 모델링하는 계수 행렬을 사용하여 딥 자기 표현 학습 메커니즘을 도입한다.
• 계수 행렬을 적응형 재구성 가중치로 사용하여 표현 공간에서 국소 다양체 구조를 유지한다.
• 강건한 딥 개념 분해, 자기 표현 표현, 국소성 유지 학습을 통합하여 하나의 종단 간 훈련 가능한 통합 프레임워크로 통합한다.
• 기저 개념, 오류 보정, 적응형 가중치의 공동 학습을 통해 전체 목적 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 비지도 클러스터링에서 계층적 의미 특징을 더 잘 포착하기 위해 딥 표현 학습은 어떻게 향상시킬 수 있는가?
• RQ2 복원된 부분공간에서 희소 오류 보정과 부분공간 복원을 통합할 경우 딥 특징에서의 노이즈에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 적응형 자기 표현 가중치 전략은 딥 특징 표현에서의 국소성 유지에 효과적인가?
• RQ4 자기 표현 학습과 개념 분해의 통합은 클러스터링 성능에 어떤 영향을 미치는가?
• RQ5 제안된 DSCF-Net은 기존 최신 기술 수준의 방법보다 벤치마크 데이터셋에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• DSCF-Net은 CIFAR-10, STL-10, NUS-WIDE를 포함한 여러 공개 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• 복원된 부분공간에서의 희소 오류 보정 통합으로 인해 노이즈와 이방성에 대한 뛰어난 강건성을 보인다.
• 적응형 국소성 유지 가중치 전략이 효과적으로 국소 다용체 구조를 유지하여 클러스터링 품질을 향상시킨다.
• 계층적 분해 아키텍처는 더 표현력 있고 분리된 깊이 있는 의미 표현을 가능하게 한다.
• 광범위한 아블레이션 연구를 통해 자기 표현, 강건한 분해, 국소성 학습 각 구성 요소의 기여도가 전체 성능에 기여하는 것으로 확인된다.
• 모든 평가된 벤치마크에서 DSCF, DCCF, DAE 기반 클러스터링 네트워크 등 기존 방법들을 일관되게 능가한다.