[論文レビュー] Language Models as Knowledge Bases for Visual Word Sense Disambiguation

Anastasia Kritharoula, Maria Lymperaiou+1 more|arXiv (Cornell University)|Oct 3, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、ゼロショットおよびフェイントショットプロンプティングを用いてLLMに保存された知識を統合することで、視覚的語義意味解消（VWSD）を向上させるために、大規模言語モデル（LLM）を知識ベースとして活用する手法を提案する。本稿では、画像キャプションを答え選択肢として用いるテキスト型QAへのVWSDの再定式化を導入し、チェーン・オブ・チョンク（CoT）プロンプティングにより解釈可能な推論が可能となり、ベースラインの視覚言語モデルよりも検索性能が向上することを示している。

ABSTRACT

Visual Word Sense Disambiguation (VWSD) is a novel challenging task that lies between linguistic sense disambiguation and fine-grained multimodal retrieval. The recent advancements in the development of visiolinguistic (VL) transformers suggest some off-the-self implementations with encouraging results, which however we argue that can be further improved. To this end, we propose some knowledge-enhancement techniques towards improving the retrieval performance of VL transformers via the usage of Large Language Models (LLMs) as Knowledge Bases. More specifically, knowledge stored in LLMs is retrieved with the help of appropriate prompts in a zero-shot manner, achieving performance advancements. Moreover, we convert VWSD to a purely textual question-answering (QA) problem by considering generated image captions as multiple-choice candidate answers. Zero-shot and few-shot prompting strategies are leveraged to explore the potential of such a transformation, while Chain-of-Thought (CoT) prompting in the zero-shot setting is able to reveal the internal reasoning steps an LLM follows to select the appropriate candidate. In total, our presented approach is the first one to analyze the merits of exploiting knowledge stored in LLMs in different ways to solve WVSD.

研究の動機と目的

• 微調整を行わずに、大規模言語モデル（LLM）に格納された知識を活用することで、視覚的語義意味解消（VWSD）におけるマルチモーダル検索性能を向上させること。
• 生成された画像キャプションを複数選択肢の答えとして用いることで、VWSDをテキスト型質問・回答問題に再定式化する可能性を調査すること。
• LLMを用いた正しい画像の意味を検索する際の、ゼロショットおよびフェイントショットプロンプティング戦略の有効性を評価すること。
• チェーン・オブ・チョンク（CoT）プロンプティングを、LLMベースのVWSD意思決定における内部推論ステップを露見する手法として活用すること。
• マルチモーダルでゼロショット設定におけるLLM-as-KBアプローチのスケーラビリティと一般化性能を評価すること。

提案手法

• LLMに格納された知識は、ゼロショットで正確に設計されたプロンプトを介して取得され、曖昧な語句に文脈的な言語的知識が付加される。
• VWSDは、画像キャプションを正しく意味する質問の候補となる答えとして用いる複数選択式QAタスクに再定式化される。
• LLMにゼロショットおよびフェイントショットプロンプティング戦略を適用し、候補リストの中から最も適切なキャプションを選択する。
• チェーン・オブ・チョンク（CoT）プロンプティングを用いて段階的推論トレースを生成し、LLM意思決定の解釈可能性を向上させる。
• 事前学習済みの視覚言語モデルを検索バックボーンとして活用し、LLM由来の知識統合によって強化する。
• 性能は標準的なVWSDベンチマークで評価され、LLM強化検索とベースラインの視覚言語モデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 LLMはゼロショット設定において、視覚的語義意味解消（VWSD）のための効果的な知識ベースとして機能できるか？
• RQ2 画像キャプションを答え選択肢として用いるテキスト型QAタスクにVWSDを再定式化することで、検索性能にどのような影響を与えるか？
• RQ3 ゼロショットおよびフェイントショットプロンプティングは、LLMを用いた意味解消の正確性をどの程度向上させるか？
• RQ4 チェーン・オブ・チョンク（CoT）プロンプティングは、LLMベースのVWSD意思決定に対して意味的で人間が解釈可能な推論トレースを提供できるか？
• RQ5 LLMのスケールおよび内部知識表現能力は、マルチモーダルで知識拡張された検索タスクにおける性能にどのように影響を与えるか？

主な発見

• LLM-as-KBアプローチは、ベースラインの視覚言語モデルよりも顕著に検索性能を向上させ、外部知識の統合の価値を示している。
• VWSDを画像キャプションを答え選択肢として用いるテキスト型QAタスクに再定式化することで、LLMを用いたマルチモーダル意味解消の有効な活用が可能になる。
• チェーン・オブ・チョンクを用いたゼロショットプロンプティングにより、解釈可能な推論トレースが得られ、LLMがどのように意味選択を正当化しているかが明らかになる。
• フェイントショットプロンプティングはさらなる性能向上をもたらし、わずかな文脈例でもLLMが正しい意味解消に向かって誘導できることを示している。
• 本研究は、LLMがスケーラブルでゼロショットの知識ベースとしてマルチモーダルタスクに活用可能であり、従来の知識グラフの制限を克服できることを確立している。
• 結果から、モデルのスケールおよびLLM内に内蔵された知識表現が、視覚言語タスクにおける効果的な知識ベースの意味解消に不可欠であることが確認された。