[논문 리뷰] Visual Distraction Undermines Moral Reasoning in Vision-Language Models

Xinyi Yang, Chenheng Xu외 5명|arXiv (Cornell University)|2026. 03. 17.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

이 논문은 시각 입력이 최첨단 비전-언어 모델의 도덕적 의사결정을 근본적으로 바꾼다는 점을 보여주며, Moral Dilemma Simulation 벤치마크와 삼모달 평가 프로토콜을 사용해 텍스트 기반 정렬이 제약하지 않는 모달리티별 편향을 드러낸다.

ABSTRACT

Moral reasoning is fundamental to safe Artificial Intelligence (AI), yet ensuring its consistency across modalities becomes critical as AI systems evolve from text-based assistants to embodied agents. Current safety techniques demonstrate success in textual contexts, but concerns remain about generalization to visual inputs. Existing moral evaluation benchmarks rely on textonly formats and lack systematic control over variables that influence moral decision-making. Here we show that visual inputs fundamentally alter moral decision-making in state-of-the-art (SOTA) Vision-Language Models (VLMs), bypassing text-based safety mechanisms. We introduce Moral Dilemma Simulation (MDS), a multimodal benchmark grounded in Moral Foundation Theory (MFT) that enables mechanistic analysis through orthogonal manipulation of visual and contextual variables. The evaluation reveals that the vision modality activates intuition-like pathways that override the more deliberate and safer reasoning patterns observed in text-only contexts. These findings expose critical fragilities where language-tuned safety filters fail to constrain visual processing, demonstrating the urgent need for multimodal safety alignment.

연구 동기 및 목표

• 텍스트에서 다중모달 구현 에이전트로 이동함에 따라 AI의 도덕적 추론에 대한 안전성 우려를 촉진한다.
• 모듈 간 도덕 판단 연구를 위한 Moral Foundation Theory(MFT)에 기초한 제어 가능한 다중모달 벤치마크를 개발한다.
• 딜레마에서 개념 변수와 인물 변수를 직교적으로 조작하여 인과 분석을 가능하게 한다.
• 도덕적 의사결정에 미치는 텍스트 콘텐츠, 자막, 시각 자료의 효과를 분리하는 진단 프로토콜을 제공한다.

제안 방법

• Moral Dilemma Simulation(MDS), Moral Foundation Theory(MFT)에 기초한 생성적 다중모달 벤치마크를 도입한다.
• 개념 변수(개인적 힘, 의도, 자기 이익)와 인물 변수(인구통계학적 정보, 관계)를 직교적으로 조작하여 다양한 딜레마를 생성한다.
• 딜레마를 텍스트 설명과 시각적 장면으로 렌더링하고 삼모달 평가 프로토콜(Text, Caption, Image)을 적용한다.
• 각 딜레마에 대해 텍스트 설명과 시각적 장면의 일치를 유지하여 모달리티 간 정렬을 보장한다.
• 강력한 인과 분석을 위해 세 가지 하위집합(수량, 단일 특징, 상호작용)을 포함한 대규모 데이터셋(~84k 샘플)을 구성한다.

(a) Utilitarianism reduction

실험 결과

연구 질문

• RQ1 시각 입력이 비전-언어 모델의 공리주의적 민감도에 어떤 영향을 미치는가?
• RQ2 시각 입력이 의무론적 제약을 약화시키고 텍스트 전용 맥락에 비해 자기 이익 편향을 촉진하는가?
• RQ3 인구통계학적 및 관계 변수들이 시각 모듈성과 상호작용하여 도덕 판단에 어떤 영향을 미치는가?
• RQ4 다중모달 안전 정렬에서 텍스트 기반 처리와 시각 처리 간 모달리티 차이의 본질은 무엇인가?

주요 결과

• 시각 입력은 공리주의적 타협 민감도를 평탄화하여 이미지 모드에서 수치적 이해관계 무시하게 만든다.
• 자막 모드와 이미지 모드는 도덕적 선호를 Caring(배려)와 Loyalty(충성) 쪽으로 이동시키며, 일부 모델은 Authority(권위)와 Purity(순수성)의 경시를 보인다.
• 이미지 모드에서 인구통계학적 가치 계층이 0에 수렴하여 시각 처리로 언어 기반의 규범적 구분이 약화됨을 시사한다.
• 모델 전반에 걸쳐 텍스트 정렬과 관계없이 모달리티 간 격차가 지속되어 다중모달 맥락의 안전 리스크를 강조한다.
• 일부 모델(예: Gemini-2.5-flash)은 부분적인 교차모달 일관성을 보이며, 시각적 강건성을 목표로 한 정렬 전략이 도움이 될 수 있음을 시사한다.
• 상호작용 분석은 이미지 모드가 편향 상호작용을 강화하고 시각적 신호가 개별 속성이 아닌 전체적으로 픽셀 수준의 편향을 유도함을 보여준다.

(b) Self-interest prioritization