[論文レビュー] DesCo: Learning Object Recognition with Rich Language Descriptions

Liunian Harold Li, Zi-Yi Dou+2 more|arXiv (Cornell University)|Jun 24, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

DesCoは、大規模言語モデル（LLM）を活用して物体の包括的で日常的な記述を生成し、文脈に応じたクエリを構築することで、微細な視覚的詳細の理解を向上させる、ゼロショット物体検出のための画期的なビジョン・ランゲージ枠組みを提案する。この手法は、LVISで34.8 AP、OminiLabelで29.3 APを達成し、ゼロショット検出設定においてGLIP よりも9点以上、FIBER よりも3.6点以上優れた最先端の性能を発揮する。

ABSTRACT

Recent development in vision-language approaches has instigated a paradigm shift in learning visual recognition models from language supervision. These approaches align objects with language queries (e.g. "a photo of a cat") and improve the models' adaptability to identify novel objects and domains. Recently, several studies have attempted to query these models with complex language expressions that include specifications of fine-grained semantic details, such as attributes, shapes, textures, and relations. However, simply incorporating language descriptions as queries does not guarantee accurate interpretation by the models. In fact, our experiments show that GLIP, the state-of-the-art vision-language model for object detection, often disregards contextual information in the language descriptions and instead relies heavily on detecting objects solely by their names. To tackle the challenges, we propose a new description-conditioned (DesCo) paradigm of learning object recognition models with rich language descriptions consisting of two major innovations: 1) we employ a large language model as a commonsense knowledge engine to generate rich language descriptions of objects based on object names and the raw image-text caption; 2) we design context-sensitive queries to improve the model's ability in deciphering intricate nuances embedded within descriptions and enforce the model to focus on context rather than object names alone. On two novel object detection benchmarks, LVIS and OminiLabel, under the zero-shot detection setting, our approach achieves 34.8 APr minival (+9.1) and 29.3 AP (+3.6), respectively, surpassing the prior state-of-the-art models, GLIP and FIBER, by a large margin.

研究の動機と目的

• 単純な物体名を越えて、複雑で記述的な言語クエリを理解する視覚言語モデルの限界を解消すること。
• 言語的記述における微細な視覚的属性、形状、質感、関係性へのモデルの感受性を向上させること。
• 従来のモデルが無視する文脈的なニュアンスを無視する「単語の袋（bag-of-words）」的行動を是正すること。
• モデルが単に物体名に依存するのではなく、豊富な記述を活用するよう促す訓練の枠組みを構築すること。
• LLMが生成する記述と文脈に応じたクエリ設計が、物体検出におけるゼロショット一般化を顕著に向上させることを実証すること。

提案手法

• 物体名と元の画像・テキストキャプションから、大規模言語モデル（例：GPT）を日常的知識エンジンとして活用し、詳細で記述的なキャプションを生成する。
• 中心となるエンティティ名を削除し、記述的属性に焦点を当てるようにすることで、文脈に応じたクエリを構築し、モデルが文脈的特徴に依存するよう強制する。
• LLMによって生成されたハードネガティブキャプションを導入し、類似概念間の区別能を向上させ、文脈理解を強化する。
• LLMが生成した豊富な記述を含む、画像・テキストペアに対してコントラスト学習の目的関数を用いて、ビジョン・ランゲージモデル（GLIPに基づく）を訓練する。
• アブレーションスタディを実施し、各構成要素（記述品質、名前削除、ネガティブキャプションの挿入）の有効性を検証する。
• LLMのモデルサイズスケーリング（例：GPT-Davinci）を活用し、より高品質な記述が検出性能の向上に寄与することを示す。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、物体認識に役立つ微細な視覚的属性や関係性を含む豊富な記述的キャプションを効果的に生成できるか？
• RQ2 クエリから物体名を削除することで、ビジョンモデルの文脈的・記述的特徴への感受性が向上するか？
• RQ3 LLMによって生成されたハードネガティブキャプションは、微細な差異に基づいて類似物体を区別する能力を向上させられるか？
• RQ4 標準的なテンプレートと比較して、LLMが生成する記述はゼロショット一般化をどの程度向上させるか？
• RQ5 言語記述の品質（例：小規模LLMと大規模LLMの比較）は、下流の検出性能にどの程度影響を与えるか？

主な発見

• DesCoは、ゼロショット検出設定下でLVISベンチマークで34.8 APを達成し、先行SOTAモデルであるGLIPより+9.1の向上を示した。
• OminiLabelベンチマークでは29.3 APを達成し、GLIPおよびFIBERよりそれぞれ+3.6ポイントの向上を示し、未知のカテゴリへの強い一般化能力を示した。
• エンティティ名のクエリからの削除により、Δ Conf指標が10.7ポイント向上し、モデルの文脈的感度が向上した。
• ハードネガティブキャプションの使用により、検出性能が向上し、高い文脈理解が維持された。最良のアブレーションでΔ Conf指標が10.5ポイント向上した。
• 大規模言語モデル（例：GPT-Davinci）は、高品質な記述を生成し、LVISで34.6 APを達成した。一方、GPT-Adaでは19.9 APにとどまった。
• アブレーションスタディにより、文脈に応じた設計なしに記述を単純に付加する方法は、性能向上や文脈的感度の向上に寄与しないことが確認された。これは、クエリ設計の重要性を強調している。