[論文レビュー] Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics

Haoqin Tu, Bingchen Zhao+2 more|arXiv (Cornell University)|Sep 13, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

この論文は、視覚的命令微調整（LLMを画像・テキストの命令データでファインチューニングすること）が、純粋なテキストタスクにおけるLLMの真実性および倫理的整合性を顕著に向上させることを示している。推論時に視覚的入力を用いなくても、100万件を超える人間アノテーション付きデータを用いたRLHFファインチューニング済みモデルを上回る性能を発揮する。この向上は、推論時に視覚的入力が使われないにもかかわらず、視覚的・テキスト的ペairに内在する高品質な命令データに起因する。

ABSTRACT

Multi-modal large language models (MLLMs) are trained based on large language models (LLM), with an enhanced capability to comprehend multi-modal inputs and generate textual responses. While they excel in multi-modal tasks, the pure NLP abilities of MLLMs are often underestimated and left untested. In this study, we get out of the box and unveil an intriguing characteristic of MLLMs -- our preliminary results suggest that visual instruction tuning, a prevailing strategy for transitioning LLMs into MLLMs, unexpectedly and interestingly helps models attain both improved truthfulness and ethical alignment in the pure NLP context. For example, a visual-instruction-tuned LLaMA2 7B model surpasses the performance of the LLaMA2-chat 7B model, fine-tuned with over one million human annotations, on TruthfulQA-mc and Ethics benchmarks. Further analysis reveals that the improved alignment can be attributed to the superior instruction quality inherent to visual-text data. In releasing our code at github.com/UCSC-VLAA/Sight-Beyond-Text, we aspire to foster further exploration into the intrinsic value of visual-text synergies and, in a broader scope, multi-modal interactions in alignment research.

研究の動機と目的

• マルチモーダルな学習、特に視覚的命令微調整が、純粋なNLPタスクにおけるLLMの真実性および倫理的整合性を向上させるかどうかを調査すること。
• MLLMが純粋な言語タスクで劣るとされる仮定に疑問を呈し、視覚・言語理解を超えた潜在的能力を解明すること。
• 従来のRLHF手法（膨大な人間アノテーションデータに依存）と比較して、視覚的命令微調整がより強い整合性を達成できるかどうかを評価すること。
• 視覚的・テキスト的データにおける命令の質が、LLMの整合性向上にどのように寄与するかを分析すること。
• AIの整合性課題を解決するための道筋として、マルチモーダルな相互作用の可能性を広く研究を促進すること。

提案手法

• LLaVAおよびCC3Mの視覚的命令微調整データを用いて、LLaMA-7BおよびOpenLLaMA-3Bモデルをファインチューニングした。
• 視覚エンコーダーとしてCLIP ViT-L/14を用い、視覚トークンを言語空間にマップするための学習可能な線形投影層を導入した。
• 2段階のトレーニングを実施：第1段階では、LLMおよび視覚エンコーダーを固定した状態で、視覚言語コネクタのみをファインチューニングした。第2段階では、コネクタおよびLLMの両方をファインチューニングした。
• 第2段階では、フルファインチューニングとLoRAの両方を用いて、トレーニング効率と性能を比較した。
• 最終的なLLM重み（視覚エンコーダーやコネクタを含まない）を純粋なテキストベンチマークで評価し、言語能力を分離して評価した。
• 異なる種類の視覚的命令データが整合性パフォーマンスに与える影響を評価するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 推論時に画像が使用されない状況下でも、視覚的命令微調整が純粋なテキストタスクにおけるLLMの真実性および倫理的整合性を向上させられるか？
• RQ2 視覚的命令微調整済みLLMの真実性および倫理的ベンチマークにおける性能は、RLHFファインチューニング済みモデルと比べてどうか？
• RQ3 視覚的・テキスト的命令データの質が、改善された整合性結果を生じる要因として果たす役割は何か？
• RQ4 特定のタイプの視覚的命令データ（例：真実性 vs. 倫理的配慮）に特化して、より効果的なものがあるか？
• RQ5 純粋なテキスト設定で整合性が向上しているにもかかわらず、なぜMLLMは劣化した画像に対して性能劣化を示すのか？

主な発見

• 視覚的命令微調整を施したLLaMA2 7Bモデルは、TruthfulQA-mcで46.0%を達成し、ベースのLLaMA2 7B（38.9%）に対して+7.1%の向上を示した。また、100万件を超える人間アノテーション付きデータでファインチューニングされたLLaMA2-chat 7Bモデルをも上回った。
• 同じモデルは、倫理的ベンチマークで65.4%を記録し、ベースのLLaMA2 7B（45.8%）に対して+19.6%の向上を示した。明示的な倫理的プロンプトなしで、LLaMA2-chat 7Bモデルをも上回った。
• 性能向上は、推論時に視覚的入力が使われないにもかかわらず、視覚的・テキスト的ペアに内在する高品質な命令データに起因する。
• 3Bおよび7BバージョンのLLaMAおよびOpenLLaMAを含む、複数のLLMサイズおよびアーキテクチャにおいても、この向上は一貫していた。
• アブレーションスタディの結果、視覚的命令データの有効性は測定対象の整合性基準に応じて変動し、タスク固有のデータ感受性が示された。
• 純粋なテキストの整合性が強く向上しているにもかかわらず、MLLMは画像キャプションタスクでCIDErスコアが4.2ポイント低下し、劣化した画像では17%以上の性能低下を示した。これは、テキストと視覚の耐性の間でトレードオフが生じていることを示唆している。