[論文レビュー] Learning to Link

Maria-Florina Balcan, Travis Dick+1 more|arXiv (Cornell University)|Apr 30, 2020

Face and Expression Recognition参考文献 21被引用数 9

ひとこと要約

この論文は、特定の応用分野向けに最適なクラスタリング手法と距離関数を同時に学習するデータ駆動型アプローチを提案する。基本的な距離関数の凸結合とパラメータ化されたリンクエッジ法（例：シングルリンク、コンプリートリンク）を用い、応用固有のクラスタリングインスタンスを訓練データとして使用することで、実世界のデータセットにおいて顕著に向上したクラスタリング性能を達成する。

ABSTRACT

Clustering is an important part of many modern data analysis pipelines, including network analysis and data retrieval. There are many different clustering algorithms developed by various communities, and it is often not clear which algorithm will give the best performance on a specific clustering task. Similarly, we often have multiple ways to measure distances between data points, and the best clustering performance might require a non-trivial combination of those metrics. In this work, we study data-driven algorithm selection and metric learning for clustering problems, where the goal is to simultaneously learn the best algorithm and metric for a specific application. The family of clustering algorithms we consider is parameterized linkage based procedures that includes single and complete linkage. The family of distance functions we learn over are convex combinations of base distance functions. We design efficient learning algorithms which receive samples from an application-specific distribution over clustering instances and learn a near-optimal distance and clustering algorithm from these classes. We also carry out a comprehensive empirical evaluation of our techniques showing that they can lead to significantly improved clustering performance on real-world datasets.

研究の動機と目的

• 特定の応用分野に対して最適なクラスタリングアルゴリズムと距離関数を選択する課題に取り組むこと。伝統的な選択肢はしばしば最適でないため。
• 応用固有のデータサンプルから、最適な距離関数（基本メトリクスの凸結合として表現）と最良のリンクエッジベースのクラスタリングアルゴリズムを同時に学習する統合フレームワークを開発すること。
• アルゴリズムの族とメトリクス空間を同時に最適化することで、それらを独立した選択肢として扱うのではなく、性能を向上させること。
• 限られた応用固有の訓練インスタンスを用いて、多様なクラスタリングタスクに一般化しやすい効率的な学習アルゴリズムを設計すること。

提案手法

• 距離関数を事前に定義された基本距離関数の凸結合としてモデル化することで、柔軟で学習可能な類似度測度を実現する。
• シングルリンクやコンプリートリンクを含むリンクエッジに基づく手順を用いてクラスタリングアルゴリズムをパラメータ化し、リンク戦略を制御する学習可能なパラメータを導入する。
• ターゲット応用分野からのラベル付きクラスタリングインスタンスに基づいて、最良の距離重みとリンクパラメータの組み合わせを選択するための共同最適化フレームワークを設計する。
• 微分可能な代替目的関数を用いることで、メトリクスとアルゴリズムの組み合わせ空間における効率的な最適化を可能にする。
• ターゲット応用分野から抽出されたクラスタリングインスタンスの分布を訓練に使用することで、データの特徴に適応可能なフレームワークを実現する。

実験結果

リサーチクエスチョン

• RQ1 特定の応用分野において、どの基本距離関数の組み合わせとリンクベースのクラスタリングアルゴリズムの組み合わせが最も高いクラスタリング性能を達成するか？
• RQ2 データ駆動型アプローチにより、距離メトリクスとクラスタリングアルゴリズムを同時に最適化することで、固定または手動でチューニングされた設定を上回る性能を達成できるか？
• RQ3 基本距離の凸結合を用いることで、応用固有の類似構造をどれだけ効果的に捉えられるか？
• RQ4 提案手法は、さまざまな実世界のクラスタリングタスクにどの程度一般化可能か？

主な発見

• 提案手法は、標準的なベースラインアルゴリズムや固定メトリクス選択と比較して、実世界のデータセットにおいて顕著に向上したクラスタリング性能を達成する。
• 距離メトリクスとクラスタリングアルゴリズムを共同で学習することで、それぞれを個別に最適化する場合よりも優れた結果が得られる。
• 基本距離の凸結合を用いることで、元のデータ分布に適応する効果的で柔軟なメトリクス学習が可能になる。
• 限られた訓練インスタンスでも、多様なクラスタリングタスクに強く一般化する能力を示している。