[論文レビュー] OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal Regression

Wanhua Li, Xiaoke Huang+5 more|arXiv (Cornell University)|Jun 6, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

OrdinalCLIPは、CLIPの事前学習済みテキストエンコーダーからランク固有の言語プロトタイプを学習することで、言語駆動型の順序回帰パラダイムを導入する。微分可能プロンプトと学習可能なコンテキストトークン、連続的ランク埋め込みを用いて順序構造を保持する。年齢推定、歴史的画像日付指定、画像美的評価の各タスクで最先端の性能を達成し、少サンプルおよび分布シフト設定でも改善を示す。さらに、言語プロトタイプの蒸留により推論時の計算コストをゼロに抑えることが可能である。

ABSTRACT

This paper presents a language-powered paradigm for ordinal regression. Existing methods usually treat each rank as a category and employ a set of weights to learn these concepts. These methods are easy to overfit and usually attain unsatisfactory performance as the learned concepts are mainly derived from the training set. Recent large pre-trained vision-language models like CLIP have shown impressive performance on various visual tasks. In this paper, we propose to learn the rank concepts from the rich semantic CLIP latent space. Specifically, we reformulate this task as an image-language matching problem with a contrastive objective, which regards labels as text and obtains a language prototype from a text encoder for each rank. While prompt engineering for CLIP is extremely time-consuming, we propose OrdinalCLIP, a differentiable prompting method for adapting CLIP for ordinal regression. OrdinalCLIP consists of learnable context tokens and learnable rank embeddings; The learnable rank embeddings are constructed by explicitly modeling numerical continuity, resulting in well-ordered, compact language prototypes in the CLIP space. Once learned, we can only save the language prototypes and discard the huge language model, resulting in zero additional computational overhead compared with the linear head counterpart. Experimental results show that our paradigm achieves competitive performance in general ordinal regression tasks, and gains improvements in few-shot and distribution shift settings for age estimation. The code is available at https://github.com/xk-huang/OrdinalCLIP.

研究の動機と目的

• 訓練データからのランク概念の学習に依存する従来の順序回帰手法における過学習および一般化性能の低さを是正すること。
• CLIPのような事前学習済みビジョン・ランゲージモデルから得られる豊富な意味的事前知識を活用し、モデルの一般化性能を向上させること。
• ランクラベルの連続的順序的性質を、事前学習済み言語モデルの潜在空間で明示的にモデル化すること。
• 手動でのプロンプト設計に依存せずに、ランク固有のプロンプトを学習可能な微分可能プロンプト機構を開発すること。
• CLIPの完全な言語モデルを放棄し、言語プロトタイプを蒸留することで、推論時に追加計算コストをゼロに抑えること。

提案手法

• 対照的損失を用いた類似度基準に基づく画像・テキストマッチングタスクに順序回帰を再定式化し、画像特徴量を学習済み言語プロトタイプとマッチングさせる。
• CLIPの事前学習済みテキストエンコーダーを用い、自然言語記述（例：「この人は23歳です」）から各ランクの固定された言語プロトタイプを抽出する。
• 全ランクに共通する学習可能なコンテキストトークンを導入し、動的プロンプトを形成することで、エンド・ツー・エンドの学習を可能にする。
• 基本特徴量間の補間を用いてランク埋め込みを学習し、潜在空間における数値的連続性を明示的にモデル化し、順序を保持する。
• 画像エンコーダーとプロンプトパラメータを、画像特徴量が対応する言語プロトタイプと一致するように、対照的損失を用いてエンド・ツー・エンドで学習する。
• 推論時においては、完全なCLIPモデルを放棄し、唯一蒸留された言語プロトタイプのみを保持することで、追加計算コストをゼロに抑える。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みビジョン・ランゲージモデルの言語事前知識は、順序回帰タスクにおける一般化性能の向上に寄与するか？
• RQ2 ランクラベルの連続的順序的性質は、事前学習済み言語モデルの潜在空間でどのように明示的にモデル化できるか？
• RQ3 微分可能プロンプトは、手動のプロンプト設計の必要性を減らしつつ、順序回帰の性能を向上させることができるか？
• RQ4 言語空間からのランクプロトタイプの学習は、純粋にデータ駆動の手法と比較して過学習を緩和するか？
• RQ5 本手法は、特に年齢推定において、少サンプルおよび分布シフト設定に一般化可能か？

主な発見

• 年齢推定ベンチマークにおいて、OrdinalCLIPはMAE 0.280、正解率72.58%という新たな最先端性能を達成し、従来のSOTA手法を上回った。
• 歴史的画像日付指定データセットでは、MAE 0.67、正解率56.44%を達成し、CoOp（51.90%）およびゼロショットCLIP（26.08%）を顕著に上回った。
• 歴史的画像日付指定データセットにおいて、前回最良手法比で正解率4.45%向上、MAEで0.11改善を達成した。
• 年齢推定の全名目カテゴリにおいて一貫した性能向上を示し、従来手法よりも標準偏差が低かった。
• 年齢推定の少サンプルおよび分布シフト設定において、ベースラインおよびCoOpと比較して、より優れたロバスト性と一般化性能を示した。
• アブレーションスタディにより、連続的補間を用いた学習可能なランク埋め込みが、非連続的代替手法よりも顕著に性能向上をもたらすことが確認された。