[論文レビュー] Learning to Decompose Visual Features with Latent Textual Prompts

Feng Wang, Manling Li+4 more|arXiv (Cornell University)|Oct 9, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文は、ゼロショットおよび線形プローブ精度を向上させるために、ハードなテキストクラス名の代わりに学習可能な分離可能なテキストプロンプトを導入する、新しいビジョン・ランゲージ推論フレームワークであるDeComposed Feature Prompting（DeFo）を提案する。視覚的特徴と意味的クラスラベルを分離し、学習可能な線形分類器を用いることで、微調整を行わず、ResNet-50バックボーンを用いてImageNetで73.2％のトップ1精度を達成した。これはゼロショットCLIPより15.0ポイント高く、最先端のプロンプトチューニング手法より7.6ポイント高い。

ABSTRACT

Recent advances in pre-training vision-language models like CLIP have shown great potential in learning transferable visual representations. Nonetheless, for downstream inference, CLIP-like models suffer from either 1) degraded accuracy and robustness in the case of inaccurate text descriptions during retrieval-based inference (the challenge for zero-shot protocol); or 2) breaking the well-established vision-language alignment (the challenge for linear probing). To address them, we propose Decomposed Feature Prompting (DeFo). DeFo leverages a flexible number of learnable embeddings as textual input while maintaining the vision-language dual-model architecture, which enables the model to learn decomposed visual features with the help of feature-level textual prompts. We further use an additional linear layer to perform classification, allowing a scalable size of language inputs. Our empirical study shows DeFo's significance in improving the vision-language models. For example, DeFo obtains 73.2% test accuracy on ImageNet with a ResNet-50 backbone without tuning any pretrained weights of both the vision and language encoder, outperforming zero-shot CLIP by a large margin of 15.0%, and outperforming state-of-the-art vision-language prompt tuning method by 7.6%.

研究の動機と目的

• CLIPに類似したモデルにおける表現感受性を解消すること。これは、特定のクラス名の表現に依存することで推論精度が低下する問題である。
• 概念感受性を克服すること。これは、レアまたは分布外の概念がゼロショット設定でうまく認識されない問題である。
• 線形プローブ中にビジョン・ランゲージの整合性を維持すること。これにより、少数ショットおよび転移学習性能が向上する。
• 事前学習済みのビジョンまたは言語エンコーダーを微調整せずに、スケーラブルで高精度なゼロショットおよび線形プローブ推論を可能にすること。
• 視覚的特徴表現とハードな意味的ターゲットを分離する二重モデルプロンプティングフレームワークを開発すること。

提案手法

• DeFoは、クラス名とは分離された、学習可能なタスクに依存しないテキスト埋め込み（プロンプト）の集合を言語エンコーダーの入力として導入する。
• モデルは二重エンコーダー構造を採用し、事前学習段階で学習されたビジョン・ランゲージの整合性を保持する。
• ビジョンエンコーダーから得られる視覚的特徴は、言語エンコーダー出力の上に学習可能な線形層を介して投影・分類される。
• 学習可能なプロンプトの数（n）とその長さ（m）はハイパーパrameterであり、実験では中程度の変動に対して頑健であることが示された。
• 同じ凍結されたビジョンおよび言語エンコーダーと学習可能な分類器を用いることで、ゼロショットおよび線形プローブ推論が可能になる。
• DeFoのテキストプロンプトは、視覚的特徴を意味的に意味のある成分に分解するようにエンドツーエンドで学習され、特徴の分離性が向上する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で分離可能なテキストプロンプト機構は、事前学習済み重みを微調整せずに、ビジョン・ランゲージモデルのゼロショット精度を向上させることができるか？
• RQ2 視覚的特徴をハードなクラス名ターゲットから分離することで、CLIP風モデルにおける表現感受性を緩和できるか？
• RQ3 線形プローブ中に言語エンコーダーを維持することで、ビジョン・ランゲージの整合性を保ち、少数ショットおよび転移学習性能を向上させることができるか？
• RQ4 学習可能なプロンプトの数と長さは、DeFoの性能と頑健性にどのように影響を与えるか？
• RQ5 学習されたテキストプロンプトは、元のクラスラベルを越えて、意味的に意味のある概念をどれほど捉えられるか？

主な発見

• DeFoは、事前学習済み重みを微調整せず、ResNet-50バックボーンを用いてImageNetで73.2％のトップ1精度を達成した。これはゼロショットCLIPより15.0ポイント高い。
• 11の多様な画像分類ベンチマークにおいて、DeFoは平均79.9％の精度を達成した。これはゼロショットCLIPより21.0ポイント高く、CoOpより6.2ポイント高い。
• アブレーションスタディの結果、DeFoはハイパーパrameterに対して頑健であることが示された。プロンプト数を2048から256に減らしても、精度はわずか0.7％低下したにとどまった。
• DeFoの性能向上は、追加の線形分類器によるものではない。CLIPやCoOpに同じ層を追加しても、最大で4％の向上にとどまる。
• 定性的な分析により、DeFoは色（例：'red'）、形状（例：'ring'）、背景（例：'snow'）といった意味的に意味のある特徴を学習していることが確認された。また、'dogs' や 'sunflowers' のような親カテゴリまでもが捉えられている。
• DeFoは、言語エンコーダーを維持することで、強力な少数ショットおよび転移学習性能を維持している。これにより、視覚的特徴の投影が制約され、整合性が保たれる。