[論文レビュー] Supervised Hierarchical Clustering with Exponential Linkage

Nishant Yadav, Ari Kobren+2 more|arXiv (Cornell University)|Jun 19, 2019

Face and Expression Recognition被引用数 8

ひとこと要約

本論文は、類似度関数の学習と、シングル、アベレージ、コンプリートリンクージングの間を滑らかに補間する新しい指数リンク（ExpLink）ファミリーを密に結合する、教師あり階層的クラスタリングのための共同学習フレームワークを提案する。勾配降下法を用いてExpLinkを最適化しながら、内側のループでHAC（階層的凝集型クラスタリング）を適用することで、訓練とクラスタリングの対象が一致しない場合に比べ、系統樹の純度が最大8ポイント向上し、手動によるリンクージング選択の必要性がなくなる。

ABSTRACT

In supervised clustering, standard techniques for learning a pairwise dissimilarity function often suffer from a discrepancy between the training and clustering objectives, leading to poor cluster quality. Rectifying this discrepancy necessitates matching the procedure for training the dissimilarity function to the clustering algorithm. In this paper, we introduce a method for training the dissimilarity function in a way that is tightly coupled with hierarchical clustering, in particular single linkage. However, the appropriate clustering algorithm for a given dataset is often unknown. Thus we introduce an approach to supervised hierarchical clustering that smoothly interpolates between single, average, and complete linkage, and we give a training procedure that simultaneously learns a linkage function and a dissimilarity function. We accomplish this with a novel Exponential Linkage function that has a learnable parameter that controls the interpolation. In experiments on four datasets, our joint training procedure consistently matches or outperforms the next best training procedure/linkage function pair and gives up to 8 points improvement in dendrogram purity over discrepant pairs.

研究の動機と目的

• 訓練の目的関数とクラスタリングアルゴリズムの間の不一致が引き起こす、教師あり階層的クラスタリングの性能低下を是正すること。
• クラスタリングアルゴリズムに適合した類似度関数とリンクージング関数を同時に学習する統一的な訓練手順を開発すること。
• シングル、アベレージ、コンプリートリンクージングの間を滑らかに補間する微分可能で学習可能なリンクージングファミリーを導入すること。
• 訓練中にエンドツーエンドでリンクージング関数を学習することで、実務家が事前にリンクージング関数を選択する必要性を排除すること。
• 実世界のデータセットにおいて、訓練とクラスタリングの目的を一致させることで、クラスタリング品質が向上することを実証的に検証すること。

提案手法

• 指数リンク（ExpLink）ファミリーを導入し、ペアワイズ類似度を指数的にスケーリングしたものを用いて、ソフトマックスによりリンクージング重みを計算する。
• 内側のループで微分可能なHACの変種を用い、類似度関数とExpLinkのパラメータの両方の勾配を計算する。
• 複数ラウンドのHACにおいて不純なマージをペナルティ化する損失関数を採用し、純粋なクラスタの形成を促進する。
• ExpLinkのハイパーパrameterとペアワイズ類似度関数のパラメータを勾配降下法で同時に最適化する。
• HACプロセスにおける純粋な凝集に寄与する訓練例を選択することで、一般化性能を向上させる。
• 訓練中に系統樹の純度を追跡・最適化するように変更されたHACアルゴリズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練の目的関数とクラスタリングアルゴリズムを一致させる共同訓練手順は、階層的クラスタリングの性能を向上させることができるか？
• RQ2 シングル、アベレージ、コンプリートリンクージングの間を補間する学習可能なリンクージング関数は、固定されたリンクージング選択を上回る性能を発揮するか？
• RQ3 類似度関数とリンクージングパラメータの両方をエンドツーエンドで最適化することで、手動によるリンクージング選択の必要性を排除できるか？
• RQ4 多様なデータセットにおいて、提案手法の性能は、標準的なすべてのペア訓練法と固定リンクージングの変種と比較してどうなるか？
• RQ5 訓練とクラスタリングの目的を一致させることで、クラスタリング品質の低下要因となる乖離は、どの程度軽減されるか？

主な発見

• 提案された共同訓練手順は、4つのデータセットすべてで、次善の訓練手順／リンクージング関数の組み合わせを常に同等または上回る性能を発揮する。
• 訓練とクラスタリングの目的が一致しない場合に比べ、系統樹の純度が最大8ポイント向上し、目的関数の一致が与える影響を実証する。
• 指数リンクファミリーにより、シングル、アベレージ、コンプリートリンクージングの間を滑らかに補間可能であり、最適なリンクージングは訓練中に自動的に選択される。
• シングルリンクージング向けに特別に設計された訓練アルゴリズムは、4つのデータセットすべてで、標準的なすべてのペア訓練法よりも顕著に性能が向上する。
• 共同最適化フレームワークにより、特にリンクージング選択に関するハイパーパrameterチューニングの必要性が低減され、実世界の応用においてより実用的になる。
• 実証的結果から、訓練とクラスタリングの目的を一致させることで、最適なリンクージングが事前に不明であっても、優れた一般化性能が得られることを示している。