[論文レビュー] Negation Blindness in Large Language Models: Unveiling the NO Syndrome in Image Generation

Mohammad Nadeem, Shahab Saquib Sohail+3 more|arXiv (Cornell University)|Aug 27, 2024

Speech and dialogue systems被引用数 7

ひとこと要約

この論文はLLMsの画像生成における根本的な制限を特定し、negation blindness (NO syndrome) を示し、GPT-4、Gemini、Copilot のようなモデルが画像生成の否定プロンプトに正しく応答するのに苦しむこと、文脈を意識した RL フィードバックループを救済策として提案する。

ABSTRACT

Foundational Large Language Models (LLMs) have changed the way we perceive technology. They have been shown to excel in tasks ranging from poem writing and coding to essay generation and puzzle solving. With the incorporation of image generation capability, they have become more comprehensive and versatile AI tools. At the same time, researchers are striving to identify the limitations of these tools to improve them further. Currently identified flaws include hallucination, biases, and bypassing restricted commands to generate harmful content. In the present work, we have identified a fundamental limitation related to the image generation ability of LLMs, and termed it The NO Syndrome. This negation blindness refers to LLMs inability to correctly comprehend NO related natural language prompts to generate the desired images. Interestingly, all tested LLMs including GPT-4, Gemini, and Copilot were found to be suffering from this syndrome. To demonstrate the generalization of this limitation, we carried out simulation experiments and conducted entropy-based and benchmark statistical analysis tests on various LLMs in multiple languages, including English, Hindi, and French. We conclude that the NO syndrome is a significant flaw in current LLMs that needs to be addressed. A related finding of this study showed a consistent discrepancy between image and textual responses as a result of this NO syndrome. We posit that the introduction of a negation context-aware reinforcement learning based feedback loop between the LLMs textual response and generated image could help ensure the generated text is based on both the LLMs correct contextual understanding of the negation query and the generated visual output.

研究の動機と目的

• 否定理解に関連するLLMベースの画像生成の根本的な制限を特定し、特徴づける。
• 複数の先端LLMが言語を問わず否定の blindness を示すことを実証する。
• 否定プロンプトがテキスト出力と画像出力に与える影響を分析する。
• NO syndromeを緩和する潜在的な機構とフィードバックベースのアプローチを提案する。

提案手法

• 複数言語（英語、ヒンディー語、フランス語）での複数のLLMに対するシミュレーション実験を実施。
• エントロピーベースおよびベンチマーク統計分析を適用して否定処理を評価。
• 否定プロンプト下でのテキスト応答と対応する生成画像を比較してNO syndromeを定量化。
• LLMのテキスト出力と生成ビジュアル間の否定文脈を意識した強化学習フィードバックループを提案。

実験結果

リサーチクエスチョン

• RQ1 現在のLLMは否定プロンプトを扱う際に画像生成でnegation blindness (NO syndrome) を示すか。
• RQ2 NO syndromeは異なるモデル（例：GPT-4、Gemini、Copilot）および言語で一貫しているか。
• RQ3 否定プロンプト下でのテキスト応答と生成画像の間にどのような不一致が生じるか。
• RQ4 否定文脈を意識したRLフィードバック機構はテキストと画像出力の整合を改善できるか。

主な発見

• LLMsを含むGPT-4、Gemini、Copilotは画像生成において否定の盲点を示す。
• NO syndromeは複数の言語（English、Hindi、French）で観測される。
• 否定プロンプト下での画像出力と対応するテキスト応答との間に一貫した不一致が存在する。