[論文レビュー] MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues

Zheyuan Liu, Dongwhi Kim+5 more|arXiv (Cornell University)|Jan 11, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

MTMCS-Bench は、エスカレーション型とコンテキスト切替リスクを備えた、マルチターン・マルチモーダルな安全性ベンチマークであり、エスカレーションに基づく安全/unsafe対話とマルチモーダル/ユニモーダル変種を提供して、意図認識、安全意識、役に立つことを統一的に分析する。

ABSTRACT

Multimodal large language models (MLLMs) are increasingly deployed as assistants that interact through text and images, making it crucial to evaluate contextual safety when risk depends on both the visual scene and the evolving dialogue. Existing contextual safety benchmarks are mostly single-turn and often miss how malicious intent can emerge gradually or how the same scene can support both benign and exploitative goals. We introduce the Multi-Turn Multimodal Contextual Safety Benchmark (MTMCS-Bench), a benchmark of realistic images and multi-turn conversations that evaluates contextual safety in MLLMs under two complementary settings, escalation-based risk and context-switch risk. MTMCS-Bench offers paired safe and unsafe dialogues with structured evaluation. It contains over 30 thousand multimodal (image+text) and unimodal (text-only) samples, with metrics that separately measure contextual intent recognition, safety-awareness on unsafe cases, and helpfulness on benign ones. Across eight open-source and seven proprietary MLLMs, we observe persistent trade-offs between contextual safety and utility, with models tending to either miss gradual risks or over-refuse benign dialogues. Finally, we evaluate five current guardrails and find that they mitigate some failures but do not fully resolve multi-turn contextual risks.

研究の動機と目的

• 安全リスクがマルチターンの画像–テキスト会話全体でどのように現れるかを評価する必要性を動機付ける。
• エスカレーション型とコンテキスト切替リスク設定を備えたベンチマーク（MTMCS-Bench）を提案する。
• 意図認識、安全意識、役に立つことの3軸で統一分析するための、安全/unsafe対話とマルチモーダル/ユニモーダル変種を提供する。
• 現実的な画像根拠の対話におけるオープンソースおよびプロプライエタリMLLMsとガードレールの評価を促進する。

提案手法

• 同一画像を共有する安全/unsafe対話を対をなすリスク設定（エスカレーション型Type Aとコンテキスト切替Type B）を構築する。
• 共有ターンを持つ三ターン対話フレームワーク（R1, R2, R3）を用いて、徐々に現れる有害意図や別表現の意図をテストする。
• マルチモーダル（画像+テキスト）とユニモーダル（テキストのみ）両方の変種を生成し、視覚的根拠の影響を分離する。
• 3軸評価を採用：意図認識（MCQ/TF）、安全意識（ unsafe対話に対するopen-generation）、有用性（ safe対話に対するopen-generation）。
• データをCOCO由来の画像を基盤とし、複数エージェントワークフロー（分類器、ライター、コンバーター）で補強し、Qwen-Image-Edit による変種で堅牢性を高める。

Figure 2: Demonstration of our three-stage multi-agent data construction workflow (left) and two unique risk setups (right) to assess MLLM multi-turn contextual safety in MTMCS-Bench.

実験結果

リサーチクエスチョン

• RQ1 MLLMはマルチモーダル会話において、ターンを重ねる中で有害意図を進化させて追跡できるか。
• RQ2 視覚的手掛かりは、マルチターン設定における文脈安全性と有用性を向上させるか、あるいは妨げるか。
• RQ3 代表的なガードレールは、実用性を損なうことなくマルチターンの文脈安全性障害を軽減するのにどれほど有効か。

主な発見

• オープンソースおよびプロプライエタリのMLLMは、安全性と有用性のトレードオフを示し、徐々に現れるリスクを見逃すことや、無害な対話を過度に拒否することがある。
• コンテキスト切替（Type B）は、多くのモデルでエスカレーション（Type A）よりも意図認識と安全意識を向上させる傾向があるが、どのモデルも高い有用性を保ちつつ完璕な安全性を達成していない。
• マルチモーダル入力は、強力なモデルでは安全意識を向上させる可能性がある一方、モデルによっては有用性を低下させる場合がある。
• ガードレールは部分的な改善をもたらすが、プロンプトベースの手法は過剰保護となり意図認識を損なう可能性があり、他の防御は有用性を低下させることがある。