[論文レビュー] Bridging Lexical Ambiguity and Vision: A Mini Review on Visual Word Sense Disambiguation

Shashini Nilukshi, Deshan Sumanathilaka|arXiv (Cornell University)|Feb 1, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

ミニレビューとしてVWSDの進展を、初期のマルチモーダル融合からCLIPおよびLLM強化システム、多言語・生成的方法と性能向上まで概観します。

ABSTRACT

This paper offers a mini review of Visual Word Sense Disambiguation (VWSD), which is a multimodal extension of traditional Word Sense Disambiguation (WSD). VWSD helps tackle lexical ambiguity in vision-language tasks. While conventional WSD depends only on text and lexical resources, VWSD uses visual cues to find the right meaning of ambiguous words with minimal text input. The review looks at developments from early multimodal fusion methods to new frameworks that use contrastive models like CLIP, diffusion-based text-to-image generation, and large language model (LLM) support. Studies from 2016 to 2025 are examined to show the growth of VWSD through feature-based, graph-based, and contrastive embedding techniques. It focuses on prompt engineering, fine-tuning, and adapting to multiple languages. Quantitative results show that CLIP-based fine-tuned models and LLM-enhanced VWSD systems consistently perform better than zero-shot baselines, achieving gains of up to 6-8\% in Mean Reciprocal Rank (MRR). However, challenges still exist, such as limitations in context, model bias toward common meanings, a lack of multilingual datasets, and the need for better evaluation frameworks. The analysis highlights the growing overlap of CLIP alignment, diffusion generation, and LLM reasoning as the future path for strong, context-aware, and multilingual disambiguation systems.

研究の動機と目的

• Visual Word Sense Disambiguation (VWSD)の evolutionを2016–2025まで概観する。
• 特徴量ベース、グラフベース、対比埋め込み VWSD アプローチを比較する。
• CLIP、拡散生成、LLMsがVWSDの性能に与える影響を分析する。
• プロンプトエンジニアリング、ファインチューニング、多言語適応、評価課題を議論する。

提案手法

• 主要情報源（ACL、arXiv、IEEE Xplore、SpringerLink、Semantic Scholar、Google Scholar）を横断した系統的文献調査を行う。
• 経験的VWSD手法とベンチマーク（例：SemEval-2023 Task 1）に焦点を当てた包含・除外基準を適用する。
• VWSD手法とアーキテクチャの時系列と動向を分析する。
• 性能指標（HIT@1、MRR）と方法論的展開についての知見を統合する。
• 多言語・跨モーダル VWSDにおけるギャップ、課題、将来の方向性を強調する。

Figure 1: PRISMA Flow of the Paper Selection Process

実験結果

リサーチクエスチョン

• RQ1 2016年から2025年までのVisual Word Sense Disambiguationに用いられてきたアーキテクチャと技術は何か。
• RQ2 CLIPベースおよびLLM強化 VWSDシステムはゼロショットベースラインと比べてどの程度性能が高いか。
• RQ3 VWSDの主な多言語・跨言語の課題は何か。
• RQ4 現在のVWSD研究と一般化を制限する評価・データの問題点は何か。

主な発見

• CLIPベースの微調整済み VWSDモデルとLLM強化システムはゼロショットベースラインを上回る。
• VWSD設定において基準CLIPよりMRRを最大6–8%程度改善する報告がある。
• プロンプトエンジニアリングと複数のプロンプトテンプレートはVWSDにおける堅牢性とHIT@1スコアを改善する。
• 拡散ベースのテキスト-to-画像生成および画像-to-text生成アプローチはクロスモーダルな曖昧さ解消において増加傾向。
• 多言語 VWSDアプローチと言語非依存埋め込みは跨言語性能を改善するが、データとベンチマークの偏りは依然残る。
• LLM推論を備えたエンサンブル深層モデルはVWSDベンチマークで高い性能を示し、ハイブリッドアーキテクチャへの傾向を示唆する。

Figure 2: Analysis of the timeline