[論文レビュー] Multi-Face: Self-supervised Multiview Adaptation for Robust Face Clustering in Videos

Krishna Somandepalli, Rajat Hebbar+1 more|arXiv (Cornell University)|Aug 25, 2020

Face recognition and analysis参考文献 47被引用数 6

ひとこと要約

本論文では、長時間の映像における頑健な顔クラスタリングを実現するための自己教師ありマルチビュー適応フレームワーク「Multi-Face」を提案する。映像フレーム内の共起する顔を活用して弱教師ありの顔トラックを生成し、最近傍探索を用いたハード例マイニングと、マルチビュー共有部分空間学習によるドメイン適応を実施することで、映画データセットにおける顔認識およびクラスタリング性能が顕著に向上する。

ABSTRACT

Robust face clustering is a key step towards computational understanding of visual character portrayals in media. Face clustering for long-form content such as movies is challenging because of variations in appearance and lack of large-scale labeled video resources. However, local face tracking in videos can be used to mine samples belonging to same/different persons by examining the faces co-occurring in a video frame. In this work, we use this idea of self-supervision to harvest large amounts of weakly labeled face tracks in movies. We propose a nearest-neighbor search in the embedding space to mine hard examples from the face tracks followed by domain adaptation using multiview shared subspace learning. Our benchmarking on movie datasets demonstrate the robustness of multiview adaptation for face verification and clustering. We hope that the large-scale data resources developed in this work can further advance automatic character labeling in videos.

研究の動機と目的

• 映画のような長時間の動画コンテンツにおける頑健な顔クラスタリングの課題に取り組むこと。ここでは、外見の変化や大規模なラベル付きデータの不足が性能を制限する。
• 局所的な顔トラッキングを活用し、映像フレーム内の共起する顔を特定することで、弱教師ありの顔トラックを自動的に生成すること。
• これらのトラックからハード例をマイニングすることで、自己教師あり学習を用いて顔クラスタリングの頑健性を向上させること。
• 同じアイデンティティの異なるビュー間の埋め込みを整列させるために、共有部分空間学習を用いたマルチビュー適応フレームワークを開発すること。
• 顔クラスタリングの研究を促進するため、映画向けの大規模なベンチマークデータセットを公開すること。

提案手法

• 映像フレーム内での顔の共起を利用して、手動ラベルなしで弱教師ありの顔トラックを生成する。
• 弱教師ありトラックからハード正例および負例を特定するために、埋め込み空間における最近傍探索を適用する。
• 同じアイデンティティの異なるビュー間の埋め込みを整列させるために、マルチビュー共有部分空間学習を用いることで、特徴の一般化を向上させる。
• トラックレベルの共起から得られる自己教師あり信号を活用し、顔埋め込みモデルの事前学習および精練を行う。
• トレーニングデータとテストデータ間の分布シフトを低減するため、ドメイン適応技術を統合する。
• 実世界の条件下での顔クラスタリングおよび認識の評価を目的として、映画ベースの大規模なベンチマークデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 映像フレーム内の共起する顔は、顔クラスタリングのための弱教師あり学習信号として効果的に利用可能か？
• RQ2 マルチビュー共有部分空間学習は、長時間の動画における外見の変化に起因する顔埋め込みの頑健性をどのように向上させるか？
• RQ3 顔トラックからのハード例マイニングは、ランダムサンプリングに比べてクラスタリング性能をどの程度向上させるか？
• RQ4 自己教師ありマルチビュー適応は、ラベル付きデータが限られる映画データセットにおいて、完全教師ありまたは弱教師ありベースラインを上回る性能を発揮できるか？
• RQ5 提案手法は、映画メディアにおける多様な動画コンテンツおよび外見の変化にどの程度一般化可能か？

主な発見

• 提案された自己教師ありフレームワークは、共起する顔トラックを弱教師あり信号として活用することで、映画データセットにおける顔クラスタリング精度を顕著に向上させる。
• 埋め込み空間における最近傍探索を用いたハード例マイニングは、より判別力のある特徴学習を実現し、クラスタリング性能を向上させる。
• マルチビュー共有部分空間学習は、長時間の動画における多様な顔の外見に起因するドメインシフトを効果的に低減し、一般化性能を向上させる。
• 本手法は、映像内の共起から得られる弱教師ありデータのみを用いても、顔認識およびクラスタリングベンチマークで最先端の性能を達成する。
• 本研究で公開された大規模な映画データセットは、今後の自動キャラクターラベル付けおよび動画理解分野の研究にとって貴重なリソースを提供する。