[論文レビュー] Learning to Cluster Faces via Confidence and Connectivity Estimation

Lei Yang, Dapeng Chen+4 more|arXiv (Cornell University)|Apr 1, 2020

Face recognition and analysis参考文献 42被引用数 5

ひとこと要約

本論文は、2つのグラフ畳み込みネットワーク（GCN-V および GCN-E）を用いて、頂点の信頼性とエッジ接続性の共同推定としてクラスタリングを定式化する、完全に学習可能な顔クラスタリングフレームワークを提案する。各頂点を信頼性が高く、強く接続された近隣に接続することで、類似度グラフを自然なクラスタに分割し、MS1M-584K や DeepFashion のような大規模データセットにおいて、最先端の精度と、従来の教師あり手法に比べ10倍の高速化を達成した。

ABSTRACT

Face clustering is an essential tool for exploiting the unlabeled face data, and has a wide range of applications including face annotation and retrieval. Recent works show that supervised clustering can result in noticeable performance gain. However, they usually involve heuristic steps and require numerous overlapped subgraphs, severely restricting their accuracy and efficiency. In this paper, we propose a fully learnable clustering framework without requiring a large number of overlapped subgraphs. Instead, we transform the clustering problem into two sub-problems. Specifically, two graph convolutional networks, named GCN-V and GCN-E, are designed to estimate the confidence of vertices and the connectivity of edges, respectively. With the vertex confidence and edge connectivity, we can naturally organize more relevant vertices on the affinity graph and group them into clusters. Experiments on two large-scale benchmarks show that our method significantly improves clustering accuracy and thus performance of the recognition models trained on top, yet it is an order of magnitude more efficient than existing supervised methods.

研究の動機と目的

• 高い冗長性と性能ボトルネックを抱えるヒューリスティックな部分グラフベースの教師ありクラスタリング手法の限界を解消すること。
• 必要な部分グラフの数を最小限に抑えることで計算コストを低減しつつ、クラスタリング精度を維持または向上させること。
• 頂点の信頼性とエッジ接続性の両方を手動設計やヒューリスティック仮定なしに、エンドツーエンドで予測する完全に学習可能なフレームワークの開発。
• 大規模なラベルなし顔データ上でクラスタリング性能を向上させ、その結果、下流の顔認識モデルの性能向上を図ること。
• DeepFashion ベンチマークでの評価を通じて、顔データを超えた一般化能力を実証すること。

提案手法

• 顔クラスタリングを2段階の学習問題として定式化：頂点の信頼性（クラスに属する確率）とエッジ接続性（2つの頂点が同じクラスタに属する確率）の推定。
• 全類似度グラフを入力として受け取り、全頂点の信頼性スコアを同時に予測する、GCN-V と呼ばれるグラフ畳み込みネットワークを設計。
• 候補となる近隣頂点集合を用いてエッジ接続性を評価する、局所化された GCN（GCN-E）を設計し、2つの頂点が同じクラスタに属する確率を学習で予測する。
• 各頂点を、信頼性が最も高く、接続性が強い近隣に接続することでクラスタを構築し、自然にクラスタを表す木構造を形成する。
• GCN の最終層特徴表現（F_L）を用いて、動的に類似度グラフを再構築することで、完全な再計算なしに接続性推定を改善する。
• GCN-E に適用する高信頼性頂点の割合を制御するハイパーパrameter ρ を導入し、計算コストと性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 完全に学習可能なクラスタリングフレームワークは、従来の教師あり手法で用いられるヒューリスティックな部分グラフ構築および予測集約ステップを排除できるか？
• RQ2 頂点の信頼性とエッジ接続性の共同推定は、従来の部分グラフベースまたは非教師あり手法よりもより正確なクラスタリングを達成できるか？
• RQ3 必要な部分グラフの数を減らすことで、クラスタリング精度を損なわず計算効率を著しく向上させられるか？
• RQ4 特徴表現（F_L）の変換を用いたグラフ再構築は、接続性推定および全体のクラスタリング性能にどのように影響するか？
• RQ5 本手法は顔データにとどまらず、ファッション画像クラスタリングなど、顔データ以外の分野にも一般化できるか？

主な発見

• 提案手法は、MS1M-584K および DeepFashion ベンチマークの両方で最先端の性能を達成し、F_P スコアは MS1M-584K で 87.14、DeepFashion で 57.26 を記録した。
• 変換された特徴表現（F_L）を用いたグラフ再構築は、元の特徴を用いる場合に比べ性能を向上させ、MS1M-584K では F_P スコアが 82.76 から 87.14 に上昇した。
• 既存の教師ありクラスタリングベースラインに比べ、10倍以上高速であり、重複する部分グラフによる冗長計算を顕著に低減した。
• GCN-E を上位 10% の高信頼性頂点に限定して適用（ρ=0.1）することで、計算コストをほとんど増やさずに顕著な性能向上が得られた。
• すべての頂点に GCN-E を適用した場合（ρ=1）には性能が低下した。これは、信頼性の低い頂点が複雑で学習が難しい接続パターンを導入していることを示している。
• 本手法は顔データ以外の分野にも良好に一般化でき、DeepFashion ベンチマークでも強力な性能を発揮した。これは、顔認識を越えた幅広い応用可能性を示している。