[論文レビュー] Learning-to-Rank Meets Language: Boosting Language-Driven Ordering Alignment for Ordinal Classification

Rui Wang, Peipei Li+4 more|arXiv (Cornell University)|Jun 24, 2023

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、L2RCLIPを提案する。これは、新たなプロンプトチューニング手法であるRankFormerと、クロスモーダルな順序付きペairワイズ損失を用いて、言語の事前知識を活用することで順序分類を向上させる視覚言語モデルである。CLIPの特徴空間における意味的整合性と順序整合性の両方を向上させることで、顔の年齢推定、美的評価、歴史的画像日付特定のタスクで最先端の性能を達成し、先行手法と比較して最大で3.02%の精度向上と0.35のMAE低減を達成した。

ABSTRACT

We present a novel language-driven ordering alignment method for ordinal classification. The labels in ordinal classification contain additional ordering relations, making them prone to overfitting when relying solely on training data. Recent developments in pre-trained vision-language models inspire us to leverage the rich ordinal priors in human language by converting the original task into a visionlanguage alignment task. Consequently, we propose L2RCLIP, which fully utilizes the language priors from two perspectives. First, we introduce a complementary prompt tuning technique called RankFormer, designed to enhance the ordering relation of original rank prompts. It employs token-level attention with residual-style prompt blending in the word embedding space. Second, to further incorporate language priors, we revisit the approximate bound optimization of vanilla cross-entropy loss and restructure it within the cross-modal embedding space. Consequently, we propose a cross-modal ordinal pairwise loss to refine the CLIP feature space, where texts and images maintain both semantic alignment and ordering alignment. Extensive experiments on three ordinal classification tasks, including facial age estimation, historical color image (HCI) classification, and aesthetic assessment demonstrate its promising performance. The code is available at https://github.com/raywang335/L2RCLIP.

研究の動機と目的

• 既存の順序分類手法が、データ不足や分布シフトの下でも順序関係を効果的にモデル化できないという限界を解決すること。
• 人間の言語に内在する豊富な順序的事前知識を活用し、視覚言語モデルの一般化性能を向上させ、過学習を低減すること。
• CLIPのクロスモーダル埋め込み空間において、意味的整合性と順序整合性を同時に確保することで、ゼロショットおよびフェイシュット性能を向上させること。
• 言語を用いて相対的な順位関係を明示的にモデル化することで、既存の視覚言語モデルを上回る順序分類手法を開発すること。

提案手法

• 元の順位プロンプトの順序関係を向上させるために、トークンレベルのアテンションとリサidualスタイルのブレンドを適用する、補完的なプロンプトチューニング手法であるRankFormerを導入する。
• 言語の事前知識を組み込むことで、クロスモーダル埋め込み空間における交差エントロピー損失の近似境界を再定式化し、一般化性能を向上させる。
• CLIPの埋め込み空間において、画像特徴とテキスト特徴の間で意味的整合性と順序整合性を同時に強制する、クロスモーダルな順序付きペアワイズ損失を提案する。
• 補間された順位テンプレートを用いることで、相対的な順序を維持しながら意味的整合性を保ち、従来の手法で見られるトレードオフを回避する。
• 二重最適化戦略を採用する：一方は対照的損失による意味的整合性の最適化、もう一方はペアワイズ順序ランク制約による順序整合性の最適化。
• 強化された順位プロンプトと新規のペアワイズ損失を用いてCLIPを微調整し、順序分類に適した特徴空間を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 言語の事前知識を効果的に活用することで、視覚言語モデルにおける順序整合性を向上させることができるか？
• RQ2 プロンプトチューニングをどのように改善すれば、意味的整合性を損なわずに相対的順位関係を明示的にモデル化できるか？
• RQ3 言語からの順序的事前知識をCLIPの特徴空間に組み込むことで、ゼロショットおよびフェイシュット順序分類の性能が向上するか？
• RQ4 統一された損失関数が、クロスモーダル埋め込み空間において意味的整合性と順序整合性を同時に最適化できるか？
• RQ5 CoOp や OrdinalCLIP と比較して、本手法は分布シフト下でも頑健性と一般化性能に優れているか？

主な発見

• L2RCLIPは顔の年齢推定タスクで、言語の事前知識を含まない最良のベースラインと比較して、MAEを0.35低減し、最先端の性能を達成した。
• CrowdBeautyデータセットでは、L2RCLIPは精度を3.02%向上させるとともに、MAEを0.35低減し、美的評価タスクで優れた性能を示した。
• 歴史的画像日付特定のタスクでは、L2RCLIPはMAE 0.43、精度67.22%を達成し、従来の最先端手法を大きく上回り、標準偏差も低く抑えられた。
• アブレーションスタディの結果、RankFormerとクロスモーダルな順序付きペアワイズ損失の両方が不可欠な構成要素であり、性能向上に顕著な寄与を示した。
• L2RCLIPはフェイシュットおよびデータ分布シフトの状況でも強く頑健であり、言語の事前知識による効果的な一般化が実証された。
• 本手法は、従来の手法（例：OrdinalCLIP）で見られたトレードオフを回避し、意味的整合性と順序整合性の両方を効果的に維持できた。