[論文レビュー] Ada-NETS: Face Clustering via Adaptive Neighbour Discovery in the Structure Space

Yaohua Wang, Yaobin Zhang+5 more|arXiv (Cornell University)|Feb 8, 2022

Face recognition and analysis被引用数 8

ひとこと要約

Ada-NETS は、GCN に基づく顔グラフにおけるノイズエッジを軽減するための新しい顔クラスタリング手法を提案する。特徴量を構造空間に変換し、適応的隣接探索戦略を用いてクリアで豊富なグラフを構築することで、95.51% のペairwise Fスコアと 94.93% の BCubed Fスコアという最先端の性能を達成した。これは、学習された隣接選択によって特徴量の頑健性を向上させ、ノイズエッジを低減することで実現された。

ABSTRACT

Face clustering has attracted rising research interest recently to take advantage of massive amounts of face images on the web. State-of-the-art performance has been achieved by Graph Convolutional Networks (GCN) due to their powerful representation capacity. However, existing GCN-based methods build face graphs mainly according to kNN relations in the feature space, which may lead to a lot of noise edges connecting two faces of different classes. The face features will be polluted when messages pass along these noise edges, thus degrading the performance of GCNs. In this paper, a novel algorithm named Ada-NETS is proposed to cluster faces by constructing clean graphs for GCNs. In Ada-NETS, each face is transformed to a new structure space, obtaining robust features by considering face features of the neighbour images. Then, an adaptive neighbour discovery strategy is proposed to determine a proper number of edges connecting to each face image. It significantly reduces the noise edges while maintaining the good ones to build a graph with clean yet rich edges for GCNs to cluster faces. Experiments on multiple public clustering datasets show that Ada-NETS significantly outperforms current state-of-the-art methods, proving its superiority and generalization. Code is available at https://github.com/damo-cv/Ada-NETS.

研究の動機と目的

• 異なるクラスの顔同士の誤った接続によって特徴学習が劣化する、GCN に基づく顔クラスタリングにおけるノイズエッジの深刻な問題に対処すること。
• 通常は特徴空間における k-NN に依存するが、特徴の不正確さに起因して問題となる顔グラフ構築における隣接選択の信頼性を向上させること。
• ノイズエッジを最小限に抑えつつ意味のある接続を保持するように、各顔ごとに隣接数を適応的に決定する手法を開発すること。
• 局所的な構造的パターンを活用することで特徴表現を強化し、クラスタリングに適したより頑健で判別性の高い埋め込みを実現すること。
• GCN における構造空間変換と適応的隣接探索を組み合わせることで、公開ベンチマークで優れたクラスタリング性能を達成すること。

提案手法

• 各顔が周囲の画像からのテクスチャおよび分布的情報を符号化する構造空間に顔特徴量を変換し、特徴量の頑健性を向上させる。
• 局所的特徴の一貫性に基づく候補隣接の品質基準を導入し、高品質な隣接を特定するための指針を提供する。
• 回帰を用いて各顔ごとに最適な隣接数（k_off）を推定する学習可能な適応フィルタを採用し、固定された k-NN ヒューリスティクスを回避する。
• ヒューリスティックな品質スコアを用いて候補隣接をランク付けし、構造的整合性を最大化し、クラス間接続を最小化するように動的に部分集合を選択する。
• 選択された隣接を用いてクリアで豊富なグラフを構築し、それを GCN に供給してメッセージパッシングと特徴学習の強化を図る。
• GCN からのグラフ埋め込みを活用し、コンactで判別性の高い特徴量を生成することで、クラスタリング性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 顔特徴量を構造空間に変換することで、顔クラスタリンググラフにおけるノイズの多い k-NN 接続の影響を軽減できるか？
• RQ2 ノイズエッジを最小限に抑えつつ情報的な接続を保持するように、各顔の隣接数をどのように適応的に決定できるか？
• RQ3 k_off を推定するための学習可能なフィルタを用いることで、固定 k-NN やアテンションベースの手法と比較してクラスタリング性能が向上するか？
• RQ4 提案された適応的隣接探索戦略は、多様な顔クラスタリングデータセットにおいて一貫したパフォーマンスを発揮するか？
• RQ5 標準的な特徴空間と比較して、構造空間は特徴の判別性およびクラスタリング F スコアをどの程度向上させるか？

主な発見

• Ada-NETS はベンチマークデータセットで 95.51% のペアワイズ F スコアおよび 94.93% の BCubed F スコアを達成し、最先端の手法を大きく上回った。
• k の値にかかわらず安定したパフォーマンスを維持しており、k-NN やしきい値ベースのベースラインと比較してハイパーパrameter選択に対して頑健であることが示された。
• 10億個のランダムペアに対するROC性能では、Ada-NETS と構造空間を用いた GCN の埋め込みが最も優れた性能を示し、特徴の判別性が優れていることを裏付けた。
• 特徴量の可視化により、構造空間からの埋め込みは各アイデンティティごとによりコンパクトであることが確認され、クラスタリングの向上を支援していることが示された。
• k_off の回帰（E^k_reg）を用いた適応フィルタは、Q値の回帰や分類と比較してより高い性能を達成し、パラメータ数も少ないことが分かった。
• GAT などのアテンションベースの手法は、複雑で非一様な特徴パターンがアテンション重みの学習を困難にしたため、Ada-NETS を上回ることはできなかった。