[논문 리뷰] Learning to Link

Maria-Florina Balcan, Travis Dick외 1명|arXiv (Cornell University)|2020. 04. 30.

Face and Expression Recognition참고 문헌 21인용 수 9

한 줄 요약

이 논문은 특정 응용 분야에 적합한 최적의 클러스터링 알고리즘과 거리 측도를 함께 학습하는 데이터 기반 접근법을 제안한다. 기본 거리 함수의 볼록 조합과 파arameterized 연결 방법(예: 단일 연결, 완전 연결)을 사용하며, 응용 분야에 특화된 클러스터링 인스턴스를 학습하여 실제 데이터셋에서 상당히 향상된 클러스터링 성능을 달성한다.

ABSTRACT

Clustering is an important part of many modern data analysis pipelines, including network analysis and data retrieval. There are many different clustering algorithms developed by various communities, and it is often not clear which algorithm will give the best performance on a specific clustering task. Similarly, we often have multiple ways to measure distances between data points, and the best clustering performance might require a non-trivial combination of those metrics. In this work, we study data-driven algorithm selection and metric learning for clustering problems, where the goal is to simultaneously learn the best algorithm and metric for a specific application. The family of clustering algorithms we consider is parameterized linkage based procedures that includes single and complete linkage. The family of distance functions we learn over are convex combinations of base distance functions. We design efficient learning algorithms which receive samples from an application-specific distribution over clustering instances and learn a near-optimal distance and clustering algorithm from these classes. We also carry out a comprehensive empirical evaluation of our techniques showing that they can lead to significantly improved clustering performance on real-world datasets.

연구 동기 및 목표

• 특정 응용 분야에 최적의 클러스터링 알고리즘과 거리 측도를 선택하는 문제에 대응하기 위해, 기존의 선택 방식이 종종 최적성이 아니라는 점을 해결한다.
• 응용 분야에 특화된 데이터 샘플에서 최적의 거리 함수(기본 측도의 볼록 조합으로서)와 연결 기반 클러스터링 알고리즘을 함께 학습하는 통합 프레임워크를 개발한다.
• 알고리즘 가족과 측도 공간을 별개의 선택으로 보는 대신, 함께 최적화하여 클러스터링 성능을 향상시킨다.
• 제한된 응용 분야에 특화된 학습 인스턴스를 사용하여 다양한 클러스터링 작업에 잘 일반화되는 효율적인 학습 알고리즘을 설계한다.

제안 방법

• 거리 함수를 사전에 정의된 기본 거리 함수의 볼록 조합으로 모델링하여, 융통성 있고 학습 가능한 유사도 측도를 가능하게 한다.
• 단일 연결 및 완전 연결을 포함한 연결 기반 절차를 사용하여 클러스터링 알고리즘을 파aram터화하며, 연결 전략을 제어하는 학습 가능한 파라미터를 포함한다.
• 목표 응용 분야의 레이블이 붙은 클러스터링 인스턴스를 기반으로 최적의 거리 가중치와 연결 파라미터 조합을 선택하기 위한 공동 최적화 프레임워크를 설계한다.
• 측도 공간과 알고리즘 공간의 병합된 영역에서 효율적인 최적화를 가능하게 하기 위해, 미분 가능한 대체 목표 함수를 학습 과정에 사용한다.
• 특정 응용 분야에서 샘플링된 클러스터링 인스턴스의 분포를 기반으로 프레임워크를 학습하여 데이터의 특성에 맞게 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 특정 응용 분야에 대해 기본 거리 함수의 조합과 연결 기반 클러스터링 알고리즘의 어떤 조합이 가장 높은 클러스터링 성능을 낼 수 있는가?
• RQ2 데이터 기반 접근법이 거리 측도와 클러스터링 알고리즘을 함께 최적화하여 고정 또는 수작업으로 조정된 구성보다 뛰어난 성능을 낼 수 있는가?
• RQ3 기본 거리 함수의 볼록 조합이 응용 분야에 특화된 유사도 구조를 얼마나 효과적으로 포괄하는가?
• RQ4 제안된 방법이 다양한 실제 클러스터링 작업에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 표준 기준 알고리즘과 고정된 측도 선택에 비해 실제 데이터셋에서 상당히 향상된 클러스터링 성능을 달성한다.
• 거리 측도와 클러스터링 알고리즘을 함께 학습하는 것이 각각을 별도로 최적화하는 것보다 더 나은 결과를 낳는다.
• 기본 거리 함수의 볼록 조합을 사용함으로써, 기저 데이터 분포에 적응하는 효과적이고 융통성 있는 측도 학습이 가능하다.
• 제한된 학습 인스턴스가 존재하는 상황에서도 다양한 클러스터링 작업에 대해 강력한 일반화 성능을 보여준다.