[논문 리뷰] Kernel functions based on triplet comparisons

Matthäus Kleindeßner, Ulrike von Luxburg|arXiv (Cornell University)|2016. 07. 28.

Face and Expression Recognition인용 수 6

한 줄 요약

이 논문은 삼중 비교를 기반으로 하는 두 가지 결정적이고 파rameter-free 커널 함수를 제안하며, 상대적 유사성 평가만 존재하는 데이터에서 어떤 커널 방법이라도 사용할 수 있도록 한다. 순서 임bedding과 달리, 이러한 커널 함수는 삼중 비교의 순서 일致성에 기반한 고차원 유사성 점수를 통해 작동하여, 경쟁력 있는 클러스터링 성능을 유지하면서도 훨씬 더 빠른 계산을 달성한다. 특히 랜드마크 기반 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Given only information in the form of similarity triplets "Object A is more similar to object B than to object C" about a data set, we propose two ways of defining a kernel function on the data set. While previous approaches construct a low-dimensional Euclidean embedding of the data set that reflects the given similarity triplets, we aim at defining kernel functions that correspond to high-dimensional embeddings. These kernel functions can subsequently be used to apply any kernel method to the data set.

연구 동기 및 목표

• 상대적 유사성 삼중 비교만 존재하는 머신러닝 환경에서 순서 임베딩의 일반적 대체 방법으로서의 커널 기반 접근법을 개발하기 위해.
• 삼중 비교('A는 B보다 C보다 더 유사하다')만 제공되는 데이터에서 어떤 커널 방법이라도 사용할 수 있도록 하기 위해.
• 특히 랜드마크 기반 설정에서 기존의 순서 임베딩 기법보다 더 빠르고 확장성 있는 방법을 설계하기 위해.
• 삼중 비교의 순서 일치성에 기반한 커널 함수가 의미 있는, 구조를 유지하는 유사성 점수를 산출할 수 있음을 보여주기 위해.

제안 방법

• 첫 번째 커널인 $k_1$은 삼중 비교 기반으로 다른 모든 객체들에 대한 순위를 기반으로 두 객체 간의 Kendall's tau 상관계수를 측정하여 유사성 점수를 계산한다.
• 두 번째 커널인 $k_2$는 둘 다 세 번째 객체에 대해 유사하게 순위가 매겨진 공통 삼중 비교의 정규화된 수를 사용하여 상대적 거리 패턴을 포착한다.
• 두 커널 모두 주어진 삼중 비교 집합을 이용해 데이터 세트 위에서 직접 정의되며, 중간 단계의 저차원 임베딩을 필요로 하지 않는다.
• 이 커널 함수들은 결정적이고 파rameter-free이며, 순서 임베딩 방법에서 발생하는 수치 최적화 문제를 피한다.
• 더 큰 데이터 세트에 적용하기 위해 랜드마크 기반 설계를 도입하여 효율적으로 커널 값을 계산한다.
• 유사한 객체는 일관된 삼중 비교 패턴을 생성하며, 이 커널 함수들은 순서 일致성과 공통 발생 유사성에 기반해 이를 정량화한다.

실험 결과

연구 질문

• RQ1 순서 임베딩에 의존하지 않고 삼중 비교에서 직접 커널 함수를 구성할 수 있는가?
• RQ2 이러한 커널 함수가 클러스터링과 같은 후속 커널 방법에 대해 충분히 데이터의 기저 구조를 유지하는가?
• RQ3 최신의 순서 임베딩 알고리즘과 비교해 성능과 속도에서 어떤가?
• RQ4 특히 삼중 비교 수가 제한된 경우, 랜드마크 기반 설계를 통해 커널 접근법이 효과적으로 확장 가능한가?

주요 결과

• 제안된 커널 함수 $k_1$과 $k_2$는 클러스터링 순수도를 통해 검증된 바와 같이 진정으로 데이터의 기저 구조를 반영하는 의미 있는 유사성 점수를 생성한다.
• 10,000장의 MNIST 숫자 이미지에서 $k_1$ 계산은 단 100초가 걸렸고, 가장 빠른 순서 임베딩 알고리즘은 2,000초가 소요되어 뚜렷한 속도 우위를 보였다.
• 20,000장의 이미지에서는 $k_1$ 계산에 900초가 소요되었고, GNMDS 임베딩은 6,000초 이상이 소요되어 확장성의 우수함을 입증했다.
• 랜드마크 기반 설정에서 커널 접근법은 삼중 비교 수가 적은 경우에도 순서 임베딩과 유사한 클러스터링 성능을 달성했다.
• 커널 함수들은 결정적이고 파rameter-free이므로 최적화 기반의 임베딩 방법에서 발생하는 불안정성과 튜닝 부담을 피할 수 있다.
• 일반적으로 더 많은 삼중 비교가 필요하지만, 랜드마크 설계 덕분에 데이터 효율성 측면에서 임베딩 기반 접근법과 경쟁적으로 효과적으로 작동할 수 있다.