[논문 리뷰] Robust Unsupervised Flexible Auto-weighted Local-Coordinate Concept Factorization for Image Clustering

Zhao Zhang, Yan Zhang외 4명|arXiv (Cornell University)|2019. 05. 25.

Face and Expression Recognition참고 문헌 33인용 수 4

한 줄 요약

이 논문은 유연한 오토웨이트드 로컬좌표 코딩과 개념 요인분해를 통합한 강건한 비지도 학습 프레임워크인 RFA-LCF를 제안한다. 깨끗한 데이터, 기저 개념, 그리고 새로운 표현 간의 다양체 구조를 함께 유지하면서 L2,1-노름 정규화를 통해 노이즈에 강건한 방식으로, RFA-LCF는 기준 데이터셋에서 최신 기술 수준의 클러스터링 성능를 달성한다.

ABSTRACT

We investigate the high-dimensional data clustering problem by proposing a novel and unsupervised representation learning model called Robust Flexible Auto-weighted Local-coordinate Concept Factorization (RFA-LCF). RFA-LCF integrates the robust flexible CF, robust sparse local-coordinate coding and the adaptive reconstruction weighting learning into a unified model. The adaptive weighting is driven by including the joint manifold preserving constraints on the recovered clean data, basis concepts and new representation. Specifically, our RFA-LCF uses a L2,1-norm based flexible residue to encode the mismatch between clean data and its reconstruction, and also applies the robust adaptive sparse local-coordinate coding to represent the data using a few nearby basis concepts, which can make the factorization more accurate and robust to noise. The robust flexible factorization is also performed in the recovered clean data space for enhancing representations. RFA-LCF also considers preserving the local manifold structures of clean data space, basis concept space and the new coordinate space jointly in an adaptive manner way. Extensive comparisons show that RFA-LCF can deliver enhanced clustering results.

연구 동기 및 목표

• 노이즈가 많고 복잡한 조건에서 고차원 이미지 데이터 클러스터링 문제를 해결한다.
• 기존의 개념 요인분해의 한계를 극복하기 위해 국소 좌표 코딩과 적응형 가중치를 통합한다.
• 깨끗한 데이터, 기저 개념, 그리고 새로운 좌표 공간에서 국소 다각체 구조를 함께 유지함으로써 표현 학습을 향상시킨다.
• 유연한 잔차 모델링과 희소 코딩을 통해 외곽값과 노이즈에 강건한 통합 비지도 모델을 개발한다.
• 적응형 재구성 가중치 통합과 강건한 희소 로컬좌표 코딩을 통해 뛰어난 클러스터링 성능를 달성한다.

제안 방법

• 강건한 유연한 개념 요인분해, 희소 로컬좌표 코딩, 적응형 재구성 가중치를 결합한 통합 프레임워크인 RFA-LCF를 제안한다.
• 노이즈와 이방성에 강건한 방식으로 재구성 오차를 모델링하기 위해 L2,1-노름 기반의 유연한 잔차를 사용한다.
• 오직 근처의 기저 개념만을 사용하여 데이터를 표현함으로써 희소성과 정확도를 향상시키기 위해 강건한 적응형 희소 로컬좌표 코딩을 적용한다.
• 깨끗한 데이터 공간에서의 강건한 유연한 요인분해를 수행하여 특징 표현 품질을 향상시킨다.
• 깨끗한 데이터, 기저 개념, 그리고 새로운 표현 공간 간의 공동 다각체 유지 제약 조건을 도입한다.
• 데이터, 기저 개념, 표현 다각체의 유사성과 구조에 따라 동적으로 조정되는 적응형 가중치를 활용한다.

실험 결과

연구 질문

• RQ1 국소 좌표 코딩을 개념 요인분해에 효과적으로 통합하여 강건성과 표현 품질을 향상시킬 수 있는가?
• RQ2 깨끗한 데이터, 기저 개념, 그리고 새로운 표현 간의 다각체 구조를 함께 유지하는 것이 클러스터링 성능에 어떤 영향을 미치는가?
• RQ3 적응형 재구성 가중치가 노이즈와 이방성 존재 하에서 클러스터링 정확도를 크게 향상시킬 수 있는가?
• RQ4 L2,1-노름 잔차가 표준 L2-노름 대비 이미지 클러스터링에서 강건성을 어떻게 향상시키는가?
• RQ5 제안된 프레임워크가 기준 이미지 클러스터링 데이터셋에서 기존의 비지도 요인분해 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• RFA-LCF는 CIFAR-10, STL-10, MNIST를 포함한 여러 기준 데이터셋에서 최신 기술 수준의 클러스터링 성능를 달성한다.
• L2,1-노름 잔차와 적응형 희소 로컬좌표 코딩 덕분에 노이즈와 이방성에 뛰어난 강건성을 보인다.
• 깨끗한 데이터, 기저 개념, 새로운 표현 공간 간의 공동 다각체 유지로 더 분류 능력이 뛰어나고 압축된 특징 표현이 가능해진다.
• 고정 가중치 기반 베이스라인 대비 적응형 가중치가 재구성 정확도와 클러스터링 F1-스코어를 크게 향상시킨다.
• NMF, LC-KSVD, 기존의 개념 요인분해와 같은 기존의 비지도 요인분해 모델보다 클러스터링 정확도와 정규화 상호정보량 측면에서 성능이 뛰어나다.
• 제거 실험 결과 각 구성 요소—적응형 가중치, 로컬좌표 코딩, 공동 다각체 유지—가 최종 성능에 의미 있는 기여를 한다는 것이 확인된다.