[論文レビュー] General Facial Representation Learning in a Visual-Linguistic Manner

Yinglin Zheng, Hao Yang+8 more|arXiv (Cornell University)|Dec 6, 2021

Face recognition and analysis被引用数 5

ひとこと要約

本稿では、LAION-FACEと呼ばれる大規模な顔固有データセット（2000万件の顔画像・テキストペア）を用いて、高レベルの意味的特徴と低レベルの詳細を同時に最適化する視覚的・言語的フレームワークFaRLを提案する。FaRLは、顔パーツ分類および顔のアライメントの両タスクで最先端の性能を達成し、特にデータが少ない状況下でも優れた性能を示す。

ABSTRACT

How to learn a universal facial representation that boosts all face analysis tasks? This paper takes one step toward this goal. In this paper, we study the transfer performance of pre-trained models on face analysis tasks and introduce a framework, called FaRL, for general Facial Representation Learning in a visual-linguistic manner. On one hand, the framework involves a contrastive loss to learn high-level semantic meaning from image-text pairs. On the other hand, we propose exploring low-level information simultaneously to further enhance the face representation, by adding a masked image modeling. We perform pre-training on LAION-FACE, a dataset containing large amount of face image-text pairs, and evaluate the representation capability on multiple downstream tasks. We show that FaRL achieves better transfer performance compared with previous pre-trained models. We also verify its superiority in the low-data regime. More importantly, our model surpasses the state-of-the-art methods on face analysis tasks including face parsing and face alignment.

研究の動機と目的

• 視覚的・言語的事前学習モデルの多様な顔分析タスクへの転送性を調査すること。
• 顔分析におけるラベル付きデータの限界を克服するため、普遍的な顔特徴表現を学習すること。
• 高レベルの意味的特徴と低レベルの画像詳細を同時にモデリングすることで、顔特徴表現学習を向上させること。
• 下流タスクに迅速に適応可能な汎用的顔特徴表現フレームワークを構築すること。
• 既存の事前学習モデルと比較して、データが少ない状況下でも優れた性能を示すことを実証すること。

提案手法

• ペアドされた顔画像と自然言語記述を用いて対照的損失を適用し、高レベルの意味的特徴表現を学習する。
• BEiTにインspiredされたマスク画像モデリング（MIM）を導入し、事前学習中に低レベルの視覚的詳細を捉える。
• 事前学習は、LAION-400Mから抽出された2000万件の顔画像・テキストペアで構成される洗練されたデータセットLAION-FACE上で実施する。
• バックボーンはビジョントランスフォーマー（ViT）またはDeiTであり、転移評価では特徴量を固定したまま下流タスクで微調整する。
• データ拡張には、ランダム回転、リスケーリング、トランスレーション、ノイズを含め、下流学習におけるロバスト性を向上させる。
• 特徴量を固定した状態で、顔パーツ分類、顔のアライメント、属性予測の評価を実施する。

Figure 1 : Image-text pairs randomly sampled from LAION-FACE. Web texts are not always accurate but often easier to acquire.

実験結果

リサーチクエスチョン

• RQ1 大規模かつオープンソースの画像・テキストペアを用いた視覚的・言語的事前学習は、顔分析タスクにおける転送性能を向上させるか？
• RQ2 高レベルの意味的特徴と低レベルの画像詳細を同時にモデリングすることで、顔特徴表現学習が向上するか？
• RQ3 FaRLは、既存の事前学習モデルと比較して、データが少ない状況下でどのように性能を発揮するか？
• RQ4 顔パーツ分類や顔のアライメントといった挑戦的な顔分析ベンチマークにおいて、FaRLは最先端の手法を上回る性能を示せるか？
• RQ5 洗練されたLAION-FACEデータセットは、普遍的な顔特徴表現の学習に有効であるか？

主な発見

• FaRLは、顔パーツ分類および顔のアライメントの両ベンチマークで最先端の性能を達成し、既存手法を上回っている。
• 特にデータが少ない状況下でも優れた少データ転送性能を示しており、これは強固な特徴表現学習に起因する。
• 対照的損失とマスク画像モデリングの共同最適化により、単独で使用する場合よりも優れた特徴表現が得られる。
• LAION-400Mの2000万枚の画像を含むLAION-FACEで事前学習することで、ImageNet や CLIP での事前学習よりも顕著に優れた下流タスク性能が得られる。
• 特徴量を固定した状態でも、属性予測やアライメントを含む多様な顔分析タスクに強く一般化する。
• CLIP や MoCo v3、BEiT といった強力なベースラインを複数の評価設定で上回り、FaRLの有効性を確認した。

Figure 2 : Distribution of #faces in each image in LAION-FACE.