[논문 리뷰] Non-Linear Fusion for Self-Paced Multi-View Clustering

Zongmo Huang, Yazhou Ren외 2명|arXiv (Cornell University)|2021. 04. 19.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 7

한 줄 요약

이 논문은 시각 품질에 따라 시각별 지수를 할당하여 잡음 영향을 줄이는 비선형 융합 방법인 NSMVC를 제안한다. 정규화자 없는 자기주도 학습 기반의 통합 방식을 통해 강건성과 수렴성을 향상시켜, 여러 벤치마크에서 선형 가중치 및 오토가중 MVC 방법보다 정확도, 순도, NMI 향상으로 더 뛰어난 성능을 달성한다.

ABSTRACT

With the advance of the multi-media and multi-modal data, multi-view clustering (MVC) has drawn increasing attentions recently. In this field, one of the most crucial challenges is that the characteristics and qualities of different views usually vary extensively. Therefore, it is essential for MVC methods to find an effective approach that handles the diversity of multiple views appropriately. To this end, a series of MVC methods focusing on how to integrate the loss from each view have been proposed in the past few years. Among these methods, the mainstream idea is assigning weights to each view and then combining them linearly. In this paper, inspired by the effectiveness of non-linear combination in instance learning and the auto-weighted approaches, we propose Non-Linear Fusion for Self-Paced Multi-View Clustering (NSMVC), which is totally different from the the conventional linear-weighting algorithms. In NSMVC, we directly assign different exponents to different views according to their qualities. By this way, the negative impact from the corrupt views can be significantly reduced. Meanwhile, to address the non-convex issue of the MVC model, we further define a novel regularizer-free modality of Self-Paced Learning (SPL), which fits the proposed non-linear model perfectly. Experimental results on various real-world data sets demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 시각 품질의 다양성을 고려한 비선형 융합 전략을 개발하여 다시보기 클러스터링에서의 시각 신뢰도에 적응하는 데 도전한다.
• 선형 가중치 및 동일 지수를 갖는 오토가중 방법의 한계를 극복하여 신뢰할 수 있는 시각의 영향을 약화시키고 잡음을 감소시킨다.
• 정규화자 없는 자기주도 학습 모드를 도입하여 MVC에서의 비볼록 최적화 문제를 완화한다.
• 낮은 손실을 가진 인스턴스에서 점진적으로 학습을 진행함으로써 클러스터링의 강건성과 수렴 속도를 향상시킨다.
• 통합적이고 비선형적이며 적응적인 프레임워크를 통해 여러 다이어그램 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 각 시각의 손실에 대해 시각 품질에 따라 다른 지수를 할당하는 비선형 융합 메커니즘을 제안하여 손상된 시각의 영향을 줄인다.
• 정규화자를 포함하지 않는 자기주도 학습(SPL) 모드를 도입하여 목표 함수가 선택된 인스턴스의 클러스터링 손실로만 구성되도록 한다.
• 진행적 학습 전략을 사용한다: 처음에는 가장 낮은 손실을 가진 인스턴스에서 학습을 시작하여 점차 손실이 높은 인스턴스를 포함한다.
• 파라미터 α(시작 지점)와 T(총 반복 횟수)로 제어되는 자기주도 스케줄을 활용하여 훈련 세트 크기를 동적으로 조정한다.
• 클러스터 할당과 시각별 지수를 번갈아가며 업데이트하는 반복 알고리즘을 통해 비볼록 목표 함수를 최적화한다.
• 각 시각의 손실을 루트로 삼는 ℓ2,1-노름 유사 원리를 시각 수준 융합에 활용하여 이상치에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비선형 융합과 시각별 지수를 사용할 경우, 선형 또는 동일 지수 융합 대비 다이어그램 클러스터링 성능 향상이 가능한가?
• RQ2 정규화자 없는 자기주도 학습 기반의 메커니즘이 비볼록 다이어그램 클러스터링에서 최적화 안정성과 수렴성을 어떻게 향상시키는가?
• RQ3 NSMVC는 저품질 시각의 부정적 영향을 어느 정도 줄이고 신뢰할 수 있는 시각의 신호를 유지하는가?
• RQ4 제안된 방법은 하이퍼파rameter α와 T에 얼마나 민감한가? 다양한 데이터셋에서 일관된 성능을 유지하는가?
• RQ5 NSMVC의 점진적 학습 전략은 기존 방법 대비 더 빠른 수렴과 더 낮은 분산의 클러스터링 결과를 이끌어내는가?

주요 결과

• NSMVC는 ACC, 순도, NMI 측면에서 모든 데이터셋에서 기준선 방법, 즉 개별 시각에 대한 k-means(KM(1)) 및 결합 특징에 대한 k-means(KM(All))를 일관되게 능가한다.
• 모든 여섯 개의 벤치마크 데이터셋에서 평균 ACC, 순도, NMI가 가장 높으며, 수작업 숫자 인식 및 MSRCv1에서 최고 성능을 기록한다.
• 반복 실험에서 낮은 표준편차를 보이며 다른 방법들에 비해 더 높은 강건성을 나타낸다.
• 수렴 곡선은 약 15회 반복 내에 급속 수렴을 보이며, 더 많은 지식을 습득함에 따라 후반 단계에서 수렴 속도가 빨라진다.
• 하이퍼파rameter 민감도 분석 결과, α와 T 값의 넓은 범위에서 안정된 성능을 유지하여 실용성과 하이퍼파rameter 조정의 용이성을 시사한다.
• AMGL, DMVC, SAMVC와 같은 오토가중 MVC 방법들보다 뚜렷한 성능 향상을 보이며, 동일 지수 대비 시각별 지수의 우수성을 확인한다.