[論文レビュー] iQIYI-VID: A Large Dataset for Multi-modal Person Identification

Yuanliu Liu, Bo Peng+13 more|arXiv (Cornell University)|Nov 19, 2018

Face recognition and analysis参考文献 79被引用数 25

ひとこと要約

本論文では、600万本のクリップと5,000人の有名人を含む、マルチモーダルな人物識別に最適化された最大規模の動画データセットiQIYI-VIDを紹介する。マルチモーダルアテンション（MMA）モジュールを提案し、顔、頭部、身体、音声特徴を適応的に統合することで、単一モダリティベースラインより2.61%の精度向上を達成し、ベンチマークデータセット上での最終MAPは87.80%に達した。

ABSTRACT

Person identification in the wild is very challenging due to great variation in poses, face quality, clothes, makeup and so on. Traditional research, such as face recognition, person re-identification, and speaker recognition, often focuses on a single modal of information, which is inadequate to handle all the situations in practice. Multi-modal person identification is a more promising way that we can jointly utilize face, head, body, audio features, and so on. In this paper, we introduce iQIYI-VID, the largest video dataset for multi-modal person identification. It is composed of 600K video clips of 5,000 celebrities. These video clips are extracted from 400K hours of online videos of various types, ranging from movies, variety shows, TV series, to news broadcasting. All video clips pass through a careful human annotation process, and the error rate of labels is lower than 0.2\%. We evaluated the state-of-art models of face recognition, person re-identification, and speaker recognition on the iQIYI-VID dataset. Experimental results show that these models are still far from being perfect for the task of person identification in the wild. We proposed a Multi-modal Attention module to fuse multi-modal features that can improve person identification considerably. We have released the dataset online to promote multi-modal person identification research.

研究の動機と目的

• 制約のない現実世界の動画において、顔、音声、Re-IDなどの単一モダリティ手法の限界を解消すること。
• マルチモーダルな人物識別研究を支援する大規模かつ高品質な動画データセットを構築すること。
• モダリティ間の相関に基づき、学習可能な特徴統合メカニズムを構築し、マルチモーダル特徴を適応的に統合すること。
• 困難で現実的なベンチマーク上で最先端モデルを評価し、マルチモーダル統合の必要性を示すこと。

提案手法

• iQIYI-VIDデータセットは、400万時間にわたる多様なオンライン動画（映画、ドラマ、ニュースなど）から構築され、5,000人の有名人の600万本の動画クリップを含む。
• すべてのクリップは手動でアノテーションされ、誤差率が0.2%未満に抑えられ、ベンチマーク用に高品質なラベルを確保している。
• マルチモーダルアテンション（MMA）モジュールは、顔、頭部、身体、音声特徴間の相互モダリティ相関に基づき、アテンション重みを学習する。
• MMAモジュールは、遮蔽された顔や話していない音声など、一貫性のないまたは信頼性の低い特徴を動的に再重み付けすることで、それらの影響を低減する。
• ベースラインモデルでは、顔特徴にArcFaceを、中間レベルの特徴集約にNetVLADを、フレームレベルの統合に平均プーリングを用いる。
• アンサンブル戦略により、異なるデータパーティションで学習されたモデルを組み合わせ、確率平均化により性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 制約のない動画環境において、マルチモーダル特徴統合は単一モダリティ手法に比べて、人物識別性能をどのように向上させるか？
• RQ2 現実世界の動画クリップにおいて、顔、頭部、身体、音声特徴のそれぞれが人物識別にどの程度寄与しているか？
• RQ3 学習可能なアテンションメカニズムは、ノイズが多いまたは一貫性のないモダリティ特徴を統合時に効果的に抑制できるか？
• RQ4 提案されたマルチモーダルアテンション（MMA）モジュールは、平均プーリングや連結統合といった従来の統合手法に比べてどのように優れているか？
• RQ5 iQIYI-VIDデータセットは、既存の最先端モデルの人物識別性能をどの程度挑戦するか？

主な発見

• 顔認識のみでiQIYI-VID上でMAPが85.19%に達したが、これはLFWデータセット上での99.83%の性能に比べて顕著に低いものであり、本データセットの現実世界における複雑さを示している。
• 音声のみのモデルはMAPがわずか11.79%にとどまり、主に話していないクリップや声優の不一致が原因で性能が著しく低下している。
• 衣服の変化や類似したユニフォームによるクラス内変動が著しいため、身体特徴は性能が悪かった。
• 顔、頭部、身体、音声の4つのモダリティを統合することでMAPが2.61ポイント向上し、87.80%に達した。これによりマルチモーダル統合の価値が裏付けられた。
• マルチモーダルアテンション（MMA）モジュールは、標準的な統合手法に比べて0.24ポイントの性能向上を示し、信頼性の低い特徴の抑制における有効性を実証した。