[논문 리뷰] Multidimensional Scaling on Multiple Input Distance Matrices

Song Bai, Xiang Bai외 2명|arXiv (Cornell University)|2016. 05. 01.

Face and Expression Recognition인용 수 7

한 줄 요약

이 논문은 다양한 입력 거리 행렬을 다룰 수 있도록 다중 시각 다차원 척도법(Multi-View Multidimensional Scaling, MVMDS)을 소개한다. 이는 정보가 많은 시각을 강조하고 잡음이 많은 시각을 억제하기 위해 시각별 가중치를 학습하는 새로운 알고리즘이다. 이 방법은 수렴이 보장되는 반복 최적화 프레임워크를 사용하며, 다중 시각 데이터셋에서 클러스터링 및 검색 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multidimensional Scaling (MDS) is a classic technique that seeks vectorial representations for data points, given the pairwise distances between them. However, in recent years, data are usually collected from diverse sources or have multiple heterogeneous representations. How to do multidimensional scaling on multiple input distance matrices is still unsolved to our best knowledge. In this paper, we first define this new task formally. Then, we propose a new algorithm called Multi-View Multidimensional Scaling (MVMDS) by considering each input distance matrix as one view. Our algorithm is able to learn the weights of views (i.e., distance matrices) automatically by exploring the consensus information and complementary nature of views. Experimental results on synthetic as well as real datasets demonstrate the effectiveness of MVMDS. We hope that our work encourages a wider consideration in many domains where MDS is needed.

연구 동기 및 목표

• 다양한 데이터 소스에서 온 다중 입력 거리 행렬을 처리할 수 없는 기존 MDS 방법의 격차를 메운다.
• 각 시각이 별개의 쌍별 거리 행렬을 제공하는 다중 시각 데이터에 대한 다차원 척도법의 문제를 공식적으로 정의한다.
• 사전 지식이 필요 없이 각 시각의 중요도를 자동으로 학습하는 비지도, 수렴 보장이 되는 알고리즘을 개발한다.
• 다양한 시각 간의 상호보완적이고 일致된 정보를 활용하여 데이터 표현과 후속 작업 성능을 향상시킨다.

제안 방법

• 다중 거리 행렬에 대해 스트레스 함수를 최소화하는 MVMDS 문제를 설정하며, 이를 반복적으로 학습하는 시각별 가중치를 포함한다.
• 입력 거리 행렬에 대한 충실도와 시각 간 일致성을 동시에 고려하는 가중치 스트레스 목적 함수를 도입한다.
• 임베딩 구성과 시각 가중치를 순환적으로 갱신하는 교차 최적화 알고리즘을 유도한다.
• 입력 거리에 대한 피팅과 시각 가중치 정규화 간의 트레이드오프를 제어하기 위해 단일 하이퍼파ram터를 사용한다.
• 약한 가정 하에 반복 알고리즘이 정적 점으로 수렴함을 증명한다.
• 다중 시각 데이터를 저차원 유클리드 공간으로 투영하여 시각화, 차원 축소 및 클러스터링에 적용한다.

실험 결과

연구 질문

• RQ1 다양한 이질적 거리 행렬을 제공하는 서로 다른 시각에서 온 데이터를 다룰 수 있도록 다차원 척도법을 어떻게 확장할 수 있는가?
• RQ2 다중 시각 MDS 프레임워크에서 다양한 시각의 상대적 중요도를 자동으로 학습하는 효과적인 방법은 무엇인가?
• RQ3 임베딩과 시각 가중치를 동시에 학습하면서 수렴 보장을 갖는 통합 최적화 프레임워크를 설계할 수 있는가?
• RQ4 제안된 방법은 단일 시각 MDS 및 선형 조합 기반 방법에 비해 클러스터링 및 검색 성능에서 어떻게 비교되는가?
• RQ5 여러 개의 시각적 특징을 사용할 때 MVMDS는 이미지 클러스터링과 같은 후속 작업을 얼마나 향상시킬 수 있는가?

주요 결과

• MVMDS는 MSRC-v1 및 Caltech101 데이터셋에서 모든 평가 지표에서 최고 성능을 기록하며, 단일 시각 MDS 및 선형 조합 기반 방법을 모두 압도한다.
• Caltech101-7에서 MVMDS는 최고의 단일 시각 방법(HOG)보다 7.97% 높은 클러스터링 정확도를 달성했으며, 선형 조합 기반 방법(LC_MDS)보다는 14.76% 높다.
• Caltech101-20에서 MVMDS는 76.1%의 정확도를 기록하여 LC_MDS(63.0%) 및 단일 시각 방법보다 뚜렷이 뛰어나다.
• 이 방법은 잡음이 많은 시각을 효과적으로 억제한다: LC_MDS는 동일한 가중치를 적용하여 개별 시각보다 성능이 열 劣하나, MVMDS는 정보가 없는 특징을 낮은 가중치로 학습한다.
• 낮은 차원의 임베딩(P=10)에서도 MVMDS는 훨씬 높은 차원의 특징(2346D)을 사용하는 RMKMC와 같은 방법보다 뛰어난 성능을 기록한다.
• 알고리즘은 실질적으로 신뢰성 있게 수렴하며, NN, FT, ST, DCG, ACC, NMI, 정밀도 등 다양한 지표에서 일관된 향상이 이루어진다.