[논문 리뷰] Correlation Clustering with Adaptive Similarity Queries

Marco Bressan, Nicolò Cesa‐Bianchi외 2명|arXiv (Cornell University)|2019. 05. 28.

Advanced Clustering Algorithms Research인용 수 9

한 줄 요약

이 논문은 관련 클러스터링에서 클러스터링 오차와 질의 비용을 동시에 최소화하는 적응형 유사도 질의 알고리즘을 제안한다. ACC와 ACCESS를 도입하여 질의 수와 오차 사이의 근사 최적의 트레이드오프를 달성하며, 악성 방해적 편향 하에서도 클러스터 복원에 대한 이론적 보장을 제공하고, 주어진 오차 수준을 달성하기 위한 질의 복잡도에 대한 정보 이론적 하한을 설정한다.

ABSTRACT

In correlation clustering, we are given $n$ objects together with a binary similarity score between each pair of them. The goal is to partition the objects into clusters so to minimise the disagreements with the scores. In this work we investigate correlation clustering as an active learning problem: each similarity score can be learned by making a query, and the goal is to minimise both the disagreements and the total number of queries. On the one hand, we describe simple active learning algorithms, which provably achieve an almost optimal trade-off while giving cluster recovery guarantees, and we test them on different datasets. On the other hand, we prove information-theoretical bounds on the number of queries necessary to guarantee a prescribed disagreement bound. These results give a rich characterization of the trade-off between queries and clustering error.

연구 동기 및 목표

• 관련 클러스터링에서 유사도 질의 수를 줄이면서 클러스터링 오차를 최소화하는 데 도전한다.
• 정확성과 질의 효율성을 균형 잡는 적응형 활성 학습 알고리즘을 개발하여 쌍별 유사도를 어떤 것을 질의할지 적절히 선택한다.
• 기본 클러스터가 악성 방해적 편향을 받을 경우 클러스터 복원에 대한 이론적 보장을 제공한다.
• 주어진 클러스터링 오차를 달성하기 위해 필요한 질의 수에 대한 정보 이론적 하한을 설정한다.
• 활성 관련 클러스터링에서 질의 수와 클러스터링 오차 사이의 근본적 트레이드오프를 규명한다.

제안 방법

• 정해진 질의 예산 하에서 오차를 최소화하는 데 초점을 맞춘 KwikCluster의 변형인 ACC(Adaptive Correlation Clustering)를 제안한다.
• 충분한 정보가 확보되었을 때 조기에 중단함으로써 질의 수를 줄이는 ACCESS(Adaptive Early Stopping for Correlation Clustering)를 도입한다.
• 질의 선택과 오차 전파의 확률적 분석을 사용하여, 진짜 클러스터와의 대칭차를 통해 기대 오차 수를 모델링한다.
• 요아의 최소최대 원리(Yao’s minimax principle)를 적용하여, 목표 오차 수준을 달성하기 위한 질의 복잡도에 대한 정보 이론적 하한을 유도한다.
• 집중도 수식과 진짜 클러스터 및 복원된 클러스터 간 기대 대칭차를 사용하여 악성 방해적 편향 하에서의 클러스터 복원을 분석한다.
• 유사도 +1이 간선에 해당하는 그래프 이론적 표현을 활용하고, 오차 한계를 위한 기준으로 선형계획법(LP) 근사를 적용한다.

실험 결과

연구 질문

• RQ1 관련 클러스터링에서 주어진 클러스터링 오차를 달성하기 위해 필요한 최소 유사도 질의 수는 얼마인가?
• RQ2 고정된 질의 예산 하에서 비적응형 또는 근시적인 방법보다 적응형 질의 전략이 더 나은 오차 보장을 달성할 수 있는가?
• RQ3 활성 학습 알고리즘이 악성 간선 수정으로 인해 훼손된 잠재 클러스터를 얼마나 잘 복원할 수 있는가?
• RQ4 활성 관련 클러스터링에서 질의 수와 클러스터링 오차 사이의 정보 이론적 한계는 무엇인가?
• RQ5 조기 중단 전략은 정확도를 희생시키지 않고 질의 사용을 상당히 줄일 수 있는가?

주요 결과

• ACC는 결정론적 질의 예산 $ Q = \Omega(n) $ 하에서 기대 클러스터링 오차 $ 3\mathrm{OPT} + \mathcal{O}(n^3 / Q) $ 를 달성하며, 이는 이전 방법보다 향상된 성능이다.
• $ \mathrm{OPT} = 0 $ 인 경우, ACCESS는 기대 질의 수를 $ \widetilde{\mathcal{O}}(n^3 / Q) $ 로 줄여, 일부 영역에서 ACC 대비 제곱근 개선을 달성한다.
• 편향 비율 $ \varepsilon $ 로 악성으로 훼손된 클러스터에 대해 ACC는 기대 대칭차 $ \mathcal{O}(\varepsilon |C| + n^2 / Q) $ 로 클러스터를 복원하며, 이는 큰 클러스터에 대해 고정밀 복원을 의미한다.
• 논문은 어떤 알고리즘이 $ \Omega(n / \varepsilon) $ 개 이하의 질의를 수행할 경우 최소 $ \mathbb{E}[\mathrm{OPT}] + \Omega(\varepsilon n^2) $ 의 오차를 겪어야 한다는 하한을 증명하여, 엄밀한 트레이드오프를 확립한다.
• 더 강한 가정 하에서, ACC의 독립적인 실행은 고려할 만한 큰 클러스터를 고확률로 정확히 복원할 수 있다.
• 이론적 분석을 통해 질의 수와 오차 사이의 트레이드오프가 로그 인자까지 일치하는 상한과 하한을 갖는 거의 최적임을 확인한다.