[論文レビュー] Layer-Specific Fine-Tuning for Improved Negation Handling in Medical Vision-Language Models

Ali Abbasi, Mehdi Taghipour+1 more|arXiv (Cornell University)|Feb 13, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

本論文は放射線診断に焦点を当てた診断ベンチマークと文脈的否定データセットを導入し、医療VLMにおける否定を研究する。さらに、層別因果追跡を用いてLoRAベースのファインチューニングを導くNegation-Aware Selective Training（NAST）を提案し、否定識別能力を向上させつつ一般的な多模態整合性を維持する。

ABSTRACT

Negation is a fundamental linguistic operation in clinical reporting, yet vision-language models (VLMs) frequently fail to distinguish affirmative from negated medical statements. To systematically characterize this limitation, we introduce a radiology-specific diagnostic benchmark that evaluates polarity sensitivity under controlled clinical conditions, revealing that common medical VLMs consistently confuse negated and non-negated findings. To enable learning beyond simple condition absence, we further construct a contextual clinical negation dataset that encodes structured claims and supports attribute-level negations involving location and severity. Building on these resources, we propose Negation-Aware Selective Training (NAST), an interpretability-guided adaptation method that uses causal tracing effects (CTEs) to modulate layer-wise gradient updates during fine-tuning. Rather than applying uniform learning rates, NAST scales each layer's update according to its causal contribution to negation processing, transforming mechanistic interpretability signals into a principled optimization rule. Experiments demonstrate improved discrimination of affirmative and negated clinical statements without degrading general vision-language alignment, highlighting the value of causal interpretability for targeted model adaptation in safety-critical medical settings. Code and resources are available at https://github.com/healthylaife/NAST.

研究の動機と目的

• 医療ビジョン–言語モデル（VLM）が否定表現か肯定表現かを区別できない原因を特定する。
• 制御された条件下で極性感度を分離する放射線特異的診断ベンチマークを作成する。
• 属性レベルの否定（位置、重症度）を捉える文脈的否定ファインチューニングデータセットを開発する。
• 因果追跡を用いてファインチューニング時の層別更新を調整するNegation-Aware Selective Training（NAST）を提案する。
• NASTが標準的な多模態性能を損なうことなく否定識別を改善することを示す。

提案手法

• 医療VLMの肯定的バイアスを露呈させるため、否定文と肯定文をペアにした放射線駆動の診断ベンチマークを開発する。
• 属性レベルの否定を捉える構造化された放射線所見から文脈的臨床否定データセットを構築する。
• 因果追跡を用いて各層の否定処理への寄与を推定し、それに応じて勾配更新をスケーリングするNASTを導入する。
• バックボーンを凍結しつつLoRAアダプタを用いてCLIPベースの医療VLMをファインチューニングする。
• 単一キャプションCLIP目的と文言ベースのキャプション監督目的を組み合わせた総損失で訓練する。
• 因果プロービングデータを用いて層別CTEを推定し、最小-最大正規化によりalpha_lを得て、alpha_l^βで勾配更新を適用する。

Figure 1 : Negation failure under polarity-controlled medical descriptions. For the same chest X-ray, two multiple-choice sets are identical except for a single semantically equivalent phrase: a negated finding (“No pneumonia is seen”) versus its affirmative counterpart (“Aerated alveoli are seen”).

実験結果

リサーチクエスチョン

• RQ1 現在の医療VLMは放射線領域の否定と肯定を信頼性高く区別できるか？
• RQ2 CLIPベースのモデルで層別因果寄与をどう推定できるか？
• RQ3 因果的に関連する層のファインチューニングにターゲットを絞ると否定感度が向上し、全体の多模態整合性を損なわないか？
• RQ4 CTE重み付き更新が学習ダイナミクスと否定焦点の性能にどのような影響を与えるか？
• RQ5 文脈的否定の手掛かり（位置・重症度）は医療VLMの否定理解の監督品質を改善するか？

主な発見

• 医療VLMは体系的な肯定バイアスを示し、肯定的表現の方が否定的な表現よりも良好に機能する。
• NASTは否定識別を改善し、文脈的否定タスクでCLIPや他の否定対応ベースラインより高い指標を達成する。
• NASTは否定でないキャプションに対しても競争力のある性能を維持し、否定理解の選択的改善を示す。
• CTE重み付き更新は早期の否定敏感層にトレーニング変更を集中させ、解釈可能性を考慮した適応アプローチを検証する。
• クレームベース評価ではNASTが最良の結果（例：クレーム正確度の向上）を達成し、ベースラインと比べ肯定–否定の性能ギャップを大幅に縮小する。

Figure 2 : MedNega-CXR benchmark construction pipeline. Starting from MIMIC-CXR images and binary diagnostic labels, the pipeline generates (1) structured label permutations, (2) LLM-generated negation MCQs, (3) affirmative rewrites, and (4) final paired MCQs. All mappings and outputs were reviewed