[논문 리뷰] Distance Measure Machines

Alain Rakotomamonjy, Abraham Traoré외 3명|arXiv (Cornell University)|2018. 03. 01.

Face and Expression Recognition참고 문헌 29인용 수 4

한 줄 요약

이 논문은 확률 분포를 쌍별 비유사도를 통해 기준 템플릿에 임bedding하는 방식으로 확률 분포를 구분하는 데 사용할 수 있는 거리 측정 기반 기계(Distance Measure Machines, DMM)라는 프레임워크를 소개한다. 이는 경험적 워싱어스틴 거리가 높은 확률, 낮은 오차를 가진 선형 분류를 가능하게 하며, 합성 및 실제 응용 과제에서 커널 평균 임bedding 및 MMD 기반 방법보다 뛰어난 성능을 보임을 증명한다.

ABSTRACT

This paper presents a distance-based discriminative framework for learning with probability distributions. Instead of using kernel mean embeddings or generalized radial basis kernels, we introduce embeddings based on dissimilarity of distributions to some reference distributions denoted as templates. Our framework extends the theory of similarity of Balcan et al. (2008) to the population distribution case and we show that, for some learning problems, some dissimilarity on distribution achieves low-error linear decision functions with high probability. Our key result is to prove that the theory also holds for empirical distributions. Algorithmically, the proposed approach consists in computing a mapping based on pairwise dissimilarity where learning a linear decision function is amenable. Our experimental results show that the Wasserstein distance embedding performs better than kernel mean embeddings and computing Wasserstein distance is far more tractable than estimating pairwise Kullback-Leibler divergence of empirical distributions.

연구 동기 및 목표

• 고정된 차원의 특징 벡터가 아닌 확률 분포로부터 학습하는 데 도전하는 것.
• 커널 기반 방법의 한계를 극복하기 위해 워싱어스틴 거리와 같은 비유사도 측정을 직접 사용하는 것.
• 경험적 비유사도 임bedding이 높은 확률로 낮은 오차의 선형 분류기를 제공한다는 이론적 보장을 수립하는 것.
• 경험적으로 워싱어스틴 기반 임bedding이 MMD 및 커널 평균 임bed딩보다 분포 분류에서 뛰어나다는 것을 입증하는 것.
• Balcan 등(2008)의 유사도 프레임워크를 수렴하는 비유사도 함수를 사용하여 경험적 분포로 확장하는 것.

제안 방법

• 각 경험적 분포를 기준 템플릿 집합에 대한 쌍별 비유사도 벡터로 임bedding하는 것.
• 분포 간 비유사도 측정으로 워싱어스틴 거리를 사용하며, 그 수렴 성질의 이점을 활용하는 것.
• 임bedded된 비유사도 공간에서 선형 분류를 적용하여 효율적이고 확장 가능한 학습을 가능하게 하는 것.
• 이론적 분석을 통해 충분한 표본 수와 템플릿이 있을 경우 경험적 임bedding이 분류 능력을 유지함을 보여주는 것.
• Bures-워싱어스틴 거리가 이론적 보장을 위해 필요한 수렴 조건을 만족함을 증명하는 것.
• 모델의 잘못된 특정화가 흔한 파라미터 없는 추정을 통해 워싱어스틴 거리를 추정하여 피하기 위한 것.

실험 결과

연구 질문

• RQ1 경험적 분포의 비유사도 기반 임bedding이 높은 확률로 낮은 오차의 선형 분류를 달성할 수 있는가?
• RQ2 워싱어스틴 거리가 분포 분류에서 커널 평균 임bed딩보다 더 효과적인 임bedding을 제공하는가?
• RQ3 Balcan 등(2008)의 이론적 프레임워크를 수렴하는 비유사도 측정을 사용하여 경험적 분포로 확장할 수 있는가?
• RQ4 템플릿의 수가 유도된 분류기의 분리 가능성과 성능에 어떤 영향을 미치는가?
• RQ5 Bures-워싱어스틴 거리가 표준 워싱어스틴 거리와 유사한 이론적 보장과 경험적 성능을 제공하는가?

주요 결과

• 제안된 워싱어스틴 기반 거리 측정 기반 기계(WDMM)는 합성 실험에서 다양한 차원에서 90%의 분류 정확도를 달성하며, MMD 기반 방법이 70% 이하에 머무르는 것에 비해 뛰어난 성능을 보인다.
• 3D 포인트 클러스터 분류 과제(ModelNet10)에서 WDMM은 선형 분류를 사용해 테스트 정확도 97.30%를 기록하며 MMD 기반 접근법을 크게 앞서 간다.
• 포인트 클러스터는 정규분포 가정을 잘 따르지 않기 때문에 Bures-워싱어스틴 거리가 3D 포인트 클러스터에서 성능이 열 劣한다.
• 비모수적 거리 추정을 사용한 WDMM은 자연 풍경 분류 과제에서 95.52%의 정확도를 기록하며, MMD 및 커널 기반 방법을 모두 앞서 간다.
• 이론적 분석을 통해 경험적 워싱어스틴 거리가 낮은 오차의 선형 분류를 높은 확률로 유지하기 위해 필요한 수렴 성질을 만족함을 확인했다.
• 비유사도 임bedding에 90개의 템플릿을 사용할 경우 10개나 45개의 템플릿보다 더 좋은 분리 가능성을 보이며, 더 많은 템플릿 커버리지의 이점을 입증했다.