[논문 리뷰] Generalized Clustering and Multi-Manifold Learning with Geometric Structure Preservation

Lirong Wu, Zicheng Liu외 4명|arXiv (Cornell University)|2020. 09. 21.

Gait Recognition and Analysis인용 수 4

한 줄 요약

이 논문은 일반화된 클러스터링과 다중 다각형 학습을 위한 통합 프레임워크인 GCML을 제안한다. 이 프레임워크는 국소적 내다각형 구조와 전역적 간다각형 기하학적 구조를 모두 유지한다. 등급 보존 손실과 등장성 손실을 함께 최적화함으로써 GCML은 상태기반 클러스터링 성능를 달성하면서도 음성, 텍스트, 생물학적 데이터를 포함한 다양한 데이터 유형에서 고정밀도의 잠재 공간 기하학을 유지한다.

ABSTRACT

Though manifold-based clustering has become a popular research topic, we observe that one important factor has been omitted by these works, namely that the defined clustering loss may corrupt the local and global structure of the latent space. In this paper, we propose a novel Generalized Clustering and Multi-manifold Learning (GCML) framework with geometric structure preservation for generalized data, i.e., not limited to 2-D image data and has a wide range of applications in speech, text, and biology domains. In the proposed framework, manifold clustering is done in the latent space guided by a clustering loss. To overcome the problem that the clustering-oriented loss may deteriorate the geometric structure of the latent space, an isometric loss is proposed for preserving intra-manifold structure locally and a ranking loss for inter-manifold structure globally. Extensive experimental results have shown that GCML exhibits superior performance to counterparts in terms of qualitative visualizations and quantitative metrics, which demonstrates the effectiveness of preserving geometric structure.

연구 동기 및 목표

• 기하학적 구조를 유지하지 못하는 기존의 다각형 기반 클러스터링 방법의 격차를 해결하기 위해, 클러스터링 손실을 사용함에도 불구하고 잠재 공간의 기하학적 구조를 유지하지 못하는 문제를 해결한다.
• 국소적 및 전역적 기하학적 구조를 명시적으로 유지하는 동시에 일반화된 클러스터링과 다중 다각형 학습을 동시에 수행하는 통합 프레임워크를 개발한다.
• 클러스터링 목표와 국소 구조 유지 간의 모순을 해결하여 학습된 표현의 품질을 떨어뜨릴 수 있는 문제를 해결한다.
• 2차원 이미지 외의 일반화된 데이터 유형, 즉 음성, 텍스트, 생물학적 데이터에 대한 프레임워크의 유효성을 입증한다.
• 기하학적 구조 유지가 후속 작업 성능을 향상시켜 학습된 임bedding의 실용성을 입증한다.

제안 방법

• 잠재 공간 내 클러스터링 중심을 학습 가능한 파라미터로 도입하여 클러스터링 과정을 이끌어낸다.
• 다양한 다각형 간의 분류 가능성을 높이고 클러스터 간 분리를 촉진하기 위해 클러스터링 손실을 적용한다.
• 이웃 점들 간의 거리 왜곡을 최소화하여 각 다각형 내 국소 기하학적 구조를 유지하기 위해 등장성 손실을 제안한다.
• 클러스터 간 상대적 거리 순서를 유지함으로써 전역적 간다각형 기하학적 구조를 유지하기 위해 순서 손실을 도입한다.
• 엔코더와 디코더를 공유하는 오토인코더 기반 아키텍처를 사용하여 잠재 공간의 엔드 투 엔드 학습을 수행한다.
• 최적화의 안정성과 수렴 성능 향상을 위해 교차 훈련 및 가중치 연속 전략을 적용한다.

실험 결과

연구 질문

• RQ1 클러스터링 손실은 다각형 학습에서 잠재 공간의 국소적 및 전역적 기하학적 구조를 손상시킬 수 있는가?
• RQ2 클러스터링 기반 표현 학습 중에 다각형 내 국소 기하학적 구조와 다각형 간 전역적 분류 가능성을 어떻게 유지할 수 있는가?
• RQ3 기하학적 구조 유지가 클러스터링 성능와 후속 작업 정확도에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 2차원 이미지 외의 일반화된 데이터 유형, 예를 들어 음성, 텍스트, 생물학적 데이터에 효과적으로 작용하는가?
• RQ5 개별 구성 요소(클러스터링 손실, 등장성 손실, 순서 손실, 훈련 전략)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• GCML은 모든 일곱 개인 데이터셋에서 클러스터링 정확도(CRA) 1.0을 달성하여 잠재 공간 내 클러스터 간 거리 순서가 완벽하게 유지됨을 나타낸다.
• 시각화 및 통계 분석 결과, 유일하게 GCML만 전역적 클러스터 순서를 완전히 유지함을 확인하였으며, 다른 방법들은 간다각형 기하학적 구조를 유지하지 못함을 입증한다.
• GCML의 등장성 손실은 입력 공간과 잠재 공간 간의 거리 차이 분포가 가장 좁고 뾰족한 피크를 보이며, 기준선 대비 뛰어난 국소 등장성 유지 능력을 보임을 나타낸다.
• 고정된 임베딩을 사용한 후속 작업에서, GCML은 MNIST-full 및 Fashion-MNIST에서 모든 분류기(LR, MLP, SVM, RFC)에서 모든 기준선을 초월한다.
• 제거 실험 결과, 클러스터링 손실은 클러스터링 성능에 필수적이며, 기하학적 구조 중심의 손실(등장성 및 순서 손실)은 다중 다각형 학습 및 전체적 강건성 향상에 크게 기여함을 확인하였다.
• 교차 훈련 및 가중치 연속 전략은 RRE, Trust, CRA 등의 지표에서 성능 향상을 더욱 뚜렷하게 개선한다.