[논문 리뷰] Similarity Learning via Kernel Preserving Embedding

Zhao Kang, Yiwei Lu외 3명|arXiv (Cornell University)|2019. 03. 11.

Face and Expression Recognition참고 문헌 30인용 수 6

한 줄 요약

이 논문은 기존 데이터의 재구성에만 초점을 맞추는 대신 커널 행렬의 재구성 오차를 최소화하는 새로운 유사도 학습 프레임워크인 커널 보존 임bedding(KPE)을 제안한다. 이는 전반적인 다양체 구조를 보존하며, 다양한 벤치마크에서 LRR, SSC, CAN과 같은 기존 방법들을 능가하는 최신 기술 수준의 클러스터링 성능을 달성한다. 특히 저질서 및 희소 표현 작업에서 통계적으로 유의미한 향상이 확인되었으며, 윌코크슨 부호 순위 검정을 통해 검증되었다.

ABSTRACT

Data similarity is a key concept in many data-driven applications. Many algorithms are sensitive to similarity measures. To tackle this fundamental problem, automatically learning of similarity information from data via self-expression has been developed and successfully applied in various models, such as low-rank representation, sparse subspace learning, semi-supervised learning. However, it just tries to reconstruct the original data and some valuable information, e.g., the manifold structure, is largely ignored. In this paper, we argue that it is beneficial to preserve the overall relations when we extract similarity information. Specifically, we propose a novel similarity learning framework by minimizing the reconstruction error of kernel matrices, rather than the reconstruction error of original data adopted by existing work. Taking the clustering task as an example to evaluate our method, we observe considerable improvements compared to other state-of-the-art methods. More importantly, our proposed framework is very general and provides a novel and fundamental building block for many other similarity-based tasks. Besides, our proposed kernel preserving opens up a large number of possibilities to embed high-dimensional data into low-dimensional space.

연구 동기 및 목표

• 기존의 자기 표현 기반 유사도 학습 방법이 다각체 구조를 忽略하고 원본 데이터 재구성에만 집중함으로써 발생하는 한계를 해결하기 위해.
• 원본 데이터의 전반적인 관계를 보존하기 위해 커널 행렬 재구성을 통한 유사도 학습을 개선하기 위해.
• 클러스터링 및 차원 축소와 같은 다양한 유사도 기반 학습 작업에 적용 가능한 일반적이고 유연한 프레임워크를 개발하기 위해.
• 기존 데이터 재구성 방식에 비해 커널 기반의 거리 학습이 내재된 데이터 구조를 더 잘 포착할 수 있음을 입증하기 위해.
• 고차원 데이터의 저차원 임베딩을 위한 강력한 기반을 제공함으로써 성능 향상을 이루기 위해.

제안 방법

• 기존 데이터 행렬 대신 커널 행렬을 재구성하는 유사도 학습 프레임워크를 제안하며, 각 데이터 포인트를 다른 데이터 포인트들의 선형 조합으로 표현하기 위해 계수 행렬 Z를 사용한다.
• 원본 커널 행렬 K와 재구성된 커널 행렬 KZ 간의 차이의 프로베니우스 노름을 최소화한다. 즉, ||K - KZ||_F^2.
• 저질서 구조를 촉진하기 위해 핵심 노름 ||Z||_* 와 희소성을 장려하기 위해 ℓ1-노름 ||Z||_1 을 포함한 정규화 항을 도입한다.
• 스펙트럼 클러스터링에서 학습된 Z를 유사도 행렬로 사용하여 클러스터링에 적용한다.
• 최적화 목표 함수에서 재구성 오차와 정규화 항을 균형 잡기 위해 파rameter γ 를 사용한다.
• 초기 커널 행렬 K 를 계산하기 위해 가우시안 또는 기타 커널 함수를 적용하며, 이 커널 행렬은 임베딩 과정 전반에 걸쳐 보존된다.

실험 결과

연구 질문

• RQ1 유사도 학습 과정에서 커널 행렬을 보존하는 것이 원본 데이터 재구성보다 더 나은 표현 학습을 이끌 수 있는가?
• RQ2 커널 기반 유사도 학습은 기존 자기 표현 방법에 비해 다각체 구조를 얼마나 잘 포착하는가?
• RQ3 제안된 프레임워크는 클러스터링 및 차원 축소와 같은 다양한 유사도 기반 작업에 일반화되는가?
• RQ4 정규화 파rameter γ 가 모델 성능과 강건성에 미치는 영향은 무엇인가?
• RQ5 커널 보존 임베딩은 LRR, SSC, CAN 과 같은 최신 기술 수준의 방법들을 클러스터링 벤치마크에서 능가할 수 있는가?

주요 결과

• SLKE 는 대부분의 벤치마크 데이터셋에서 최고의 클러스터링 정확도와 NMI 를 기록했으며, LRR 와 SSC 대비 평균 정확도 향상률이 각각 8.92%와 8.76%였다.
• 윌코크슨 부호 순위 검정 결과, SLKE-S 와 SLKE-R 는 SC, RKKM, SSC, LRR, SSR, CAN, TLSC 와 비교해 p-값 < 0.05 를 기록하여 통계적으로 유의미한 결과를 보였다.
• 모든 데이터셋에서 평균적으로 SLKE-R 와 SLKE-S 는 LRR 와 SSC 대비 각각 8.92%와 8.76%의 정확도 향상을 기록했다.
• 모델은 파rameter γ 에 대해 강건하며, 10^-6 에서 10^-3 의 넓은 범위에서 높은 성능을 유지했다.
• t-SNE 시각화 결과, SLKE 는 데이터의 클러스터 구조를 잘 보존함을 확인했으며, 특히 JAFFE 데이터셋에서 재구성된 데이터가 명확한 분리성을 유지함을 보였다.
• COIL20 에서 SLKE 는 CAN 과 거의 유사한 성능을 보이며, 도전적인 데이터 환경에서도 강력한 경쟁력을 입증했다.