[論文レビュー] Correlation Clustering with Adaptive Similarity Queries

Marco Bressan, Nicolò Cesa‐Bianchi+2 more|arXiv (Cornell University)|May 28, 2019

Advanced Clustering Algorithms Research被引用数 9

ひとこと要約

本稿では、相関クラスタリングにおけるクラスタリング誤差とクエリコストの両方を最小化するための適応的類似度クエリアルゴリズムを提案する。ACCおよびACCESSを導入し、クエリ数と誤差の間で近似的に最適なトレードオフを達成する。また、敵対的摂動下でのクラスタ回復に関する理論的保証と、特定の誤差レベルを達成するための情報理論的クエリ複雑度の下界を提示する。

ABSTRACT

In correlation clustering, we are given $n$ objects together with a binary similarity score between each pair of them. The goal is to partition the objects into clusters so to minimise the disagreements with the scores. In this work we investigate correlation clustering as an active learning problem: each similarity score can be learned by making a query, and the goal is to minimise both the disagreements and the total number of queries. On the one hand, we describe simple active learning algorithms, which provably achieve an almost optimal trade-off while giving cluster recovery guarantees, and we test them on different datasets. On the other hand, we prove information-theoretical bounds on the number of queries necessary to guarantee a prescribed disagreement bound. These results give a rich characterization of the trade-off between queries and clustering error.

研究の動機と目的

• 相関クラスタリングにおいてクラスタリング誤差を最小化すると同時に、類似度クエリの数を削減する課題に対処すること。
• 精度とクエリ効率の両立を図るため、適応的にどのペアワイズ類似度をクエリするかを決定するアクティブラーニングアルゴリズムの開発。
• 潜在的なクラスタが敵対的摂動を受ける状況下でも、クラスタ回復の理論的保証を提供すること。
• 与えられたクラスタリング誤差を達成するために必要なクエリ数の情報理論的下界を確立すること。
• アクティブラーニングにおけるクエリ数とクラスタリング誤差の根本的トレードオフを同定すること。

提案手法

• 決定的クエリ予算下で誤差を最小化するようにクエリを適応的に選択する、KwikClusterの変種であるACC（Adaptive Correlation Clustering）を提案する。
• 十分な情報が得られると早期に停止することでクエリ数を削減する、ACCESS（Adaptive Early Stopping for Correlation Clustering）を導入する。
• クエリ選択と誤差伝播の確率的解析を用い、真のクラスタとの対称差を用いて期待される不一致数をモデル化する。
• Yaoのミニマックス原理を適用し、特定の誤差レベルを達成するための情報理論的クエリ複雑度の下界を導出する。
• 集中不等式を用いて敵対的摂動下でのクラスタ回復を分析し、真のクラスタと回復されたクラスタの期待対称差を評価する。
• 類似度+1がエッジに対応するグラフ理論的表現を活用し、誤差の上限を求めるベンチマークとして線形計画法の緩和技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 相関クラスタリングにおいて、与えられたクラスタリング誤差を達成するために必要な最小の類似度クエリ数は何か？
• RQ2 固定クエリ予算下で、非適応的またはグリーディ手法よりも優れた誤差保証を達成できる適応的クエリ戦略は存在するか？
• RQ3 潜在クラスタが敵対的エッジ変更を受ける状況下でも、アクティブラーニングアルゴリズムはどれほど正確に元のクラスタを回復できるか？
• RQ4 アクティブラーニングにおけるクエリ数とクラスタリング誤差の間の情報理論的限界は何か？
• RQ5 早期停止戦略は、クラスタリング精度を損なわずにクエリ使用量を著しく削減できるか？

主な発見

• ACCは、決定的クエリ予算 $ Q = \Omega(n) $ の下で、期待クラスタリング誤差 $ 3\mathrm{OPT} + \mathcal{O}(n^3 / Q) $ を達成し、先行手法を改善する。
• $ \mathrm{OPT} = 0 $ の場合、ACCESSは期待クエリ数を $ \widetilde{\mathcal{O}}(n^3 / Q) $ にまで低減し、一部の環境ではACCに比べて平方根の改善を達成する。
• 摂動率 $ \varepsilon $ の敵対的摂動を受けるクラスタに対して、ACCは期待対称差 $ \mathcal{O}(\varepsilon |C| + n^2 / Q) $ でクラスタを回復する。これは、大きなクラスタに対して高精度な回復を示している。
• 本稿では、$ \Omega(n / \varepsilon) $ クエリ未満のアルゴリズムは、必ず $ \mathbb{E}[\mathrm{OPT}] + \Omega(\varepsilon n^2) $ 以上の誤差を負わざるべく、下界を証明し、タイトなトレードオフを確立する。
• より強い仮定の下で、ACCの独立した複数回実行により、すべての大規模クラスタを高確率で正確に回復できる。
• 理論的解析により、クエリ数と誤差のトレードオフが対数因子を除いてほぼ最適であることが確認され、上界と下界が一致する。