[論文レビュー] Linkage Based Face Clustering via Graph Convolution Network

Zhongdao Wang, Liang Zheng+2 more|arXiv (Cornell University)|Mar 27, 2019

Face recognition and analysis参考文献 37被引用数 21

ひとこと要約

本稿では、局所的コンテキストを用いてリンク予測問題としてクラスタリングを定式化する、グラフ畳み込みネットワーク（GCN）に基づく顔クラスタリング手法を提案する。インスタンスピボットサブグラフ（IPS）を用いて、近傍特徴からリンク可能性を学習することで、標準ベンチマークで最先端の性能を達成し、ノイズや外れ値に対しても効果的に耐性を示し、クラスタ数の事前知識が不要な大規模データセットへのスケーラビリティを実現する。

ABSTRACT

In this paper, we present an accurate and scalable approach to the face clustering task. We aim at grouping a set of faces by their potential identities. We formulate this task as a link prediction problem: a link exists between two faces if they are of the same identity. The key idea is that we find the local context in the feature space around an instance (face) contains rich information about the linkage relationship between this instance and its neighbors. By constructing sub-graphs around each instance as input data, which depict the local context, we utilize the graph convolution network (GCN) to perform reasoning and infer the likelihood of linkage between pairs in the sub-graphs. Experiments show that our method is more robust to the complex distribution of faces than conventional methods, yielding favorably comparable results to state-of-the-art methods on standard face clustering benchmarks, and is scalable to large datasets. Furthermore, we show that the proposed method does not need the number of clusters as prior, is aware of noises and outliers, and can be extended to a multi-view version for more accurate clustering accuracy.

研究の動機と目的

• 従来のクラスタリング手法が硬直的な仮定を持つため失敗する、複雑で非一様な分布を示す顔のクラスタリングという課題に対処する。
• 既存のリンクベース手法におけるヒューリスティックなリンクメトリクスの限界を乗り越え、コンテキストに配慮したリンク可能性を学習する。
• クラスタ数を事前に入力とする必要がなく、ノイズや外れ値に強く、スケーラブルで頑健なクラスタリングフレームワークを開発する。
• 異なるモダリティ（例：顔画像と音声）の補完的特徴を活用して、マルチビュー顔クラスタリングへの拡張を図り、精度を向上させる。

提案手法

• 顔のクラスタリングをリンク予測問題として定式化：2つの顔が同じアイデンティティを共有する場合にリンクが存在する。
• 各顔の周囲にインスタンスピボットサブグラフ（IPS）を構築し、局所的な近傍コンテキストを捉える。各近傍をサブグラフ内のノードとしてモデル化する。
• グラフ畳み込みネットワーク（GCN）を用いてIPS上で推論を行い、ピボットとその近傍の間のリンク可能性を予測する。
• 予測されたリンクスコアに基づき、連結ノードの推移的マージを適用して最終的なクラスタを形成する。
• 近似最近傍探索（ANN）を活用して、IPS構築の計算量をO(n²)からO(n log n)に削減し、スケーラビリティを向上させる。
• 異なるモodalitiy（例：顔画像と音声）の特徴を連結し、統合表現上でGCNを学習することで、マルチビュークラスタリングへの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 複雑なデータ分布下でも、ヒューリスティックなメトリクスを上回る、コンテキストに配慮した学習可能なリンク予測メカニズムは顔クラスタリングで有効に機能するか？
• RQ2 提案手法のGCNベースのアプローチは、従来のクラスタリングアルゴリズムと比較して、ノイズや外れ値に対してどの程度頑健であるか？
• RQ3 特に数百万の誤検出者を含む大規模データセットに対して、この手法はどの程度スケーラブルか？
• RQ4 異なるデータソースからの補完的情報を活用できるように、このフレームワークをマルチビュー顔クラスタリングに効果的に拡張できるか？

主な発見

• 提案手法は、512人のアイデンティティを含むVoxCeleb2テストセットで、F1スコア0.841、NMI 0.940を達成し、標準ベンチマークで最先端の性能を示した。
• 2,048人のアイデンティティと100万のドリフトフェイスを含む大規模な設定でも、F1: 0.810、NMI: 0.946の高い性能を維持し、O(n log n)の計算量で効率的にスケーリングした。
• すべての評価プロトコルにおいてAROや他のベースライン手法を上回り、複雑で不均衡なデータ分布に対しても優れた頑健性を示した。
• 顔+音声特徴を用いたマルチビュー拡張では、512人のアイデンティティでF1スコア0.841、NMI 0.940を達成し、ヒューリスティック手法が失敗する状況でも補完的情報を効果的に学習できることを示した。
• ノイズや外れ値に対して頑健であり、クラスタ数を入力とする必要がないため、実世界のオープンセット顔クラスタリングに適している。
• ANN探索を用いることで実行時間がデータサイズに比例して線形に増加し、単一GPU上での大規模データセットの効率的処理を可能にした。