[論文レビュー] CILF-CIAE: CLIP-driven Image-Language Fusion for Correcting Inverse Age Estimation

Yuntao Shou, Wei Ai+3 more|arXiv (Cornell University)|Dec 4, 2023

Face recognition and analysis被引用数 5

ひとこと要約

本論文は、対照的視覚言語特徴、空間的およびチャネルワイドな特徴統合にFourierベースのトランスフォーマー（FourierFormer）を用い、逆転可能な誤差補正モジュールを組み合わせたCLIP駆動型ゼロショット年齢推定フレームワーク、CZL-CIAEを提案する。この手法は、未学習の年齢カテゴリにおいて年齢予測の正確性を向上させる。複数のベンチマークで最先端の性能を達成し、30%の未学習カテゴリを含むゼロショット設定において、ベースラインCLIPと比較してMAEを最大25%まで低減する。

ABSTRACT

The age estimation task aims to predict the age of an individual by analyzing facial features in an image. The development of age estimation can improve the efficiency and accuracy of various applications (e.g., age verification and secure access control, etc.). In recent years, contrastive language-image pre-training (CLIP) has been widely used in various multimodal tasks and has made some progress in the field of age estimation. However, existing CLIP-based age estimation methods require high memory usage (quadratic complexity) when globally modeling images, and lack an error feedback mechanism to prompt the model about the quality of age prediction results. To tackle the above issues, we propose a novel CLIP-driven Image-Language Fusion for Correcting Inverse Age Estimation (CILF-CIAE). Specifically, we first introduce the CLIP model to extract image features and text semantic information respectively, and map them into a highly semantically aligned high-dimensional feature space. Next, we designed a new Transformer architecture (i.e., FourierFormer) to achieve channel evolution and spatial interaction of images, and to fuse image and text semantic information. Compared with the quadratic complexity of the attention mechanism, the proposed Fourierformer is of linear log complexity. To further narrow the semantic gap between image and text features, we utilize an efficient contrastive multimodal learning module that supervises the multimodal fusion process of FourierFormer through contrastive loss for image-text matching, thereby improving the interaction effect between different modalities. Finally, we introduce reversible age estimation, which uses end-to-end error feedback to reduce the error rate of age predictions. Through extensive experiments on multiple data sets, CILF-CIAE has achieved better age prediction results.

研究の動機と目的

• 未学習の年齢カテゴリにおける既存のゼロショット年齢推定手法の性能が低いという問題に対処すること。
• 未学習の年齢グループのラベル付きトレーニングデータを必要とせずに、年齢推定における一般化性能を向上させること。
• 予測誤差を低減するための誤差制御可能なフィードバック機構を導入すること。
• CLIPの事前学習済み視覚言語アライメントを活用して、年齢推定へのゼロショット転移を実現すること。
• 空間的およびチャネルワイドな特徴相互作用を強化する、新しいFourierベースのトランスフォーマー・アーキテクチャを設計すること。

提案手法

• CLIPの画像およびテキストエンコーダーを用いて、共有埋め込み空間内にアライメントされた視覚的および言語的特徴を抽出する。
• 標準的なアテンション機構にFourierの事前知識を組み込んだFourierFormerアーキテクチャを導入し、画像特徴の空間的およびチャネルワイドな相互作用をモデル化する。
• 画像特徴とテキスト特徴の間で対照的学習を実施し、ゼロショット転移のための意味的表現をアライメントする。
• エンド・トゥ・エンドの誤差フィードバックを用いて予測を精緻化し、回帰誤差を低減する逆転可能な年齢推定モジュールを採用する。
• CLIPでエンコードされた画像およびテキスト特徴をFourierFormerを介して統合し、年齢予測のための文脈に適した表現を生成する。
• 対照的学習と年齢回帰の両方を組み合わせたマルチタスク損失を用いて、モデル全体をエンド・トゥ・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き年齢データへの微調整なしに、CLIPの事前学習済み視覚言語特徴をゼロショット年齢推定に効果的に活用できるか？
• RQ2 トランスフォーマー・アーキテクチャにおいて標準的なアテンションをFourier事前知識に置き換えると、年齢推定における特徴表現にどのような影響を与えるか？
• RQ3 エンド・トゥ・エンドの誤差補正機構は、ゼロショット設定における年齢予測の正確性をどの程度向上させるか？
• RQ4 個々のモジュール（空間的相互作用、チャネル変化、誤差補正）は、未学習の年齢カテゴリにおける全体の性能にどの程度寄与しているか？
• RQ5 本手法は、データスパarsityが高い状況（例：30%の未学習カテゴリ）において、ベースラインCLIPおよび既存のゼロショット年齢推定モデルよりも一般化性能に優れているか？

主な発見

• 30%のテストカテゴリが未学習の状況で、6つのデータセットすべてにおいてCZL-CIAEの完全モデルが最も低いMAEを達成し、MORPH-S1では平均MAEが23.7となった。
• 20%のカテゴリが未学習の状況で、誤差補正モジュール単体でもベースラインCLIPモデルと比較して平均で2.4ポイントのMAE低減を達成した。
• 空間的相互作用モジュールと誤差補正モジュールの組み合わせが最良の性能を示し、チャネル変化モジュールのみを使用した場合と比較してMAEを3.2ポイント低減した。
• アブレーションスタディの結果、空間的相互作用、チャネル変化、誤差補正の3つのモジュールすべてが性能向上に顕著に寄与しており、完全モデルはすべての設定でアブレーションバージョンを上回った。
• FGNETデータセットにおいて30%の未学習カテゴリを含む状況で、CZL-CIAEはMAEが23.7を記録し、ベースラインCLIPモデルと比較して4.6ポイントの改善を達成した。
• すべてのテストスプリットにおいて一貫した性能向上を示しており、未学習の年齢グループにおけるドメインシフトの程度が変化しても強いロバストネスを示した。