[論文レビュー] Open Vocabulary Multi-Label Classification with Dual-Modal Decoder on Aligned Visual-Textual Features

Shichao Xu, Yikang Li+3 more|arXiv (Cornell University)|Aug 19, 2022

Text and Document Classification Technologies被引用数 4

ひとこと要約

本論文は、視覚的および言語的特徴を統合するためのデュアルモードデコーダー（DM-Decoder）を用いる、オープンボリュームマルチラベル分類のための新規フレームワークADDsを提案する。この手法により、オープンボリューム、シングルからマルチ、および従来のマルチラベル分類の各タスクで最先端の性能を達成する。視覚的・言語的特徴のアライメント、高解像度対応のためのピラミッドフォワーディング、および選択的言語監督を活用することで、NUS-WIDE、ImageNet-1k、ImageNet-21k、MS-COCOのベンチマークで先行手法を上回る結果を達成する。

ABSTRACT

In computer vision, multi-label recognition are important tasks with many real-world applications, but classifying previously unseen labels remains a significant challenge. In this paper, we propose a novel algorithm, Aligned Dual moDality ClaSsifier (ADDS), which includes a Dual-Modal decoder (DM-decoder) with alignment between visual and textual features, for open-vocabulary multi-label classification tasks. Then we design a simple and yet effective method called Pyramid-Forwarding to enhance the performance for inputs with high resolutions. Moreover, the Selective Language Supervision is applied to further enhance the model performance. Extensive experiments conducted on several standard benchmarks, NUS-WIDE, ImageNet-1k, ImageNet-21k, and MS-COCO, demonstrate that our approach significantly outperforms previous methods and provides state-of-the-art performance for open-vocabulary multi-label classification, conventional multi-label classification and an extreme case called single-to-multi label classification where models trained on single-label datasets (ImageNet-1k, ImageNet-21k) are tested on multi-label ones (MS-COCO and NUS-WIDE).

研究の動機と目的

• トレーニング中に観測されていないラベルを含むマルチラベル画像認識において、特にテストラベルがトレーニング時に出現しないオープンボリューム設定下での分類課題に対処すること。
• 事前学習済みのビジョン・ランゲージモデルを用いて視覚的および言語的埋め込みをアライメントすることで、学習済みラベルを超えた一般化性能を向上させること。
• 再トレーニングを伴わずに高解像度画像における効果的なマルチラベル分類を可能にする、解像度に適応する推論メカニズムの実装。
• 特にリソースが限られた環境やシングルからマルチへのラベル転送状況において、選択的言語監督によりモデル性能を向上させること。

提案手法

• 本手法の核となるのは、視覚的特徴と言語的埋め込みを段階的に統合することで意味的理解を向上させる、トランスフォーマーに基づくデュアルモードデコーダー（DM-Decoder）である。
• 事前学習段階でコントラスト学習の目的関数を用いて視覚的および言語的特徴をアライメントし、意味的に類似した画像・テキストペアが共有埋め込み空間で近接するように保証する。
• ピラミッドフォワーディングにより、複数スケールの特徴マップを処理することで高解像度推論を可能にし、空間的詳細を保持するとともに、大規模な入力に対して性能向上を実現する。
• 選択的言語監督により、ファインチューニング段階で関連するラベルに焦点を当てることで、未学習ラベルへの一般化性能を向上させる。
• フレームワークはImageNet-1kおよびImageNet-21kで学習され、NUS-WIDEおよびMS-COCOで評価され、マルチラベルおよびオープンボリューム設定へのゼロショット転送が実施される。
• モデルは画像エンコーダーとしてViT-L-336を用い、事前学習済みテキストエンコーダーから導出されたラベル埋め込みに対してクロスエントロピー損失を用いてファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 視覚的および言語的特徴を統合するデュアルモードデコーダーが、既存手法を上回るゼロショットおよびオープンボリュームマルチラベル分類を実現できるか？
• RQ2 低解像度で事前学習されたモデルに対して再トレーニングを伴わずに、ピラミッドフォワーディングが高解像度推論を効果的に可能にするか？
• RQ3 選択的言語監督によりトレーニングクラス数を増加させることで、シングルからマルチへのラベル分類性能が向上するか？
• RQ4 オープンボリューム設定における性能向上は、画像エンコーダーやテキストエンコーダー単体よりも、視覚的・言語的特徴のアライメントに起因する程度はどの程度か？
• RQ5 NUS-WIDE、ImageNet-1k、ImageNet-21k、MS-COCOといった多様なベンチマークにおいて、ML-Decoder や Q2L といった最先端モデルと比較して、本手法はどの程度優れているか？

主な発見

• ADDsは、ViT-L-336を用いたDM-Decoderを用いて、NUS-WIDEにおけるオープンボリュームマルチラベル分類で39.28%のmAPを達成し、先行SOTA手法を上回る。
• ML-Decoderベースラインと比較して、DM-DecoderはmAPを2.5ポイント向上させ、3層スタックされたデコーダーを用いることで38.68%のmAPを達成した。
• ピラミッドフォワーディングにより、1344×1344解像度のMS-COCOでmAPが91.76%から93.54%に向上し、高解像度推論における有効性が裏付けられた。
• ImageNet-21kの15,000クラスで学習したモデルは、ImageNet-1kの1,000クラスで学習したモデルと比較して、NUS-WIDEにおけるmAPを31.02%から37.92%に向上させ、より多くのトレーニングクラスの利点を示した。
• 視覚的・言語的特徴のアライメントを実施しないモデル（コントラスト損失を含まないファインチューニング済みBLIPモデル）はmAPが2.52%にまで低下し、アライメントが性能向上に不可欠であることを実証した。
• 本手法は、オープンボリュームマルチラベル分類、従来のマルチラベル分類、およびシングルからマルチへのラベル分類という3つのタスクすべてで最先端の結果を達成し、広範な適用可能性を示した。