[논문 리뷰] EmoKGEdit: Training-free Affective Injection via Visual Cue Transformation
EmoKGEdit은 Multimodal Sentiment Association Knowledge Graph (MSA-KG)를 활용하여 구조를 보존하면서 영역 중심의 감정 주입을 안내하는 학습 프리 프레임워크를 도입한다. 이는 감정 로컬라이제이션 모듈, 지식 그래프 기반 큐 전이, 그리고 구조-감정 분리 편집 파이프라인을 결합하여 균형 잡힌 감정 충실도와 콘텐츠 보존을 달성한다.
Existing image emotion editing methods struggle to disentangle emotional cues from latent content representations, often yielding weak emotional expression and distorted visual structures. To bridge this gap, we propose EmoKGEdit, a novel training-free framework for precise and structure-preserving image emotion editing. Specifically, we construct a Multimodal Sentiment Association Knowledge Graph (MSA-KG) to disentangle the intricate relationships among objects, scenes, attributes, visual clues and emotion. MSA-KG explicitly encode the causal chain among object-attribute-emotion, and as external knowledge to support chain of thought reasoning, guiding the multimodal large model to infer plausible emotion-related visual cues and generate coherent instructions. In addition, based on MSA-KG, we design a disentangled structure-emotion editing module that explicitly separates emotional attributes from layout features within the latent space, which ensures that the target emotion is effectively injected while strictly maintaining visual spatial coherence. Extensive experiments demonstrate that EmoKGEdit achieves excellent performance in both emotion fidelity and content preservation, and outperforms the state-of-the-art methods.
연구 동기 및 목표
- 의미적 레이아웃을 보존하는 영역 인지적인 정밀 이미지 감정 편집을 목표로 한다.
- 편집 중 감정 조절과 구조적 콘텐츠를 분리한다.
- 외부 지식을 활용하여 감정 관련 시각 큐 삽입을 제약하고 안내한다.
- 지식 그래프를 통한 해석 가능한 CoT-유도 편집을 지원한다.
- 최첨단 방법에 비해 더 높은 감정 충실도와 콘텐츠 보존성을 보여준다.
제안 방법
- 감정을 유발하는 영역을 전경 영역으로 제약하도록 Emotion Region-aware 모듈을 통해 감정 영역을 로컬라이즈한다.
- 장면, 물체, 속성, 감정을 연결하는 Multimodal Sentiment Association Knowledge Graph (MSA-KG)를 구성한다.
- MSA-KG에 기반한 실행 가능한 편집 지시로 큐를 변환하기 위해 Chain-of-Thought 추론을 갖춘 Emotions Cue Transfer Module를 사용한다.
- 두 개의 확산 경로를 가진 구조-감정 분리 편집을 적용하고, 각 경로에 전용 제약을 두어 기하학적 구조를 보존하면서 감정을 주입한다.

실험 결과
연구 질문
- RQ1다중모달 지식 그래프가 안내하는 영역 중심 편집이 콘텐츠 충실도를 유지하면서 정밀한 감정 주입을 달성할 수 있는가?
- RQ2CoT 기반 큐 전달과 분리된 편집의 결합이 베이스라인 대비 감정 정확도와 구조 보존성 모두를 향상시키는가?
- RQ3MSA-KG 기반 접지가 편집된 이미지의 그럴듯함과 일관성에 어떤 영향을 미치는가?
- RQ4각 모듈(ERA, ECT, DSEE)이 전체 성능에 기여하는 바는 무엇인가?
- RQ5세그먼트가 유지되는 다중 감정 시나리오에서 학습 없이의 편집이 가능한가?
주요 결과
- EmoKGEdit은 구조, 의미, 감정 지표에서 베이스라인 대비 우수한 성능을 달성한다.
- Emo_Acc8(0.4452) 및 Emo_Acc2(0.8819), TEA(0.3179)가 EmoEdit(Emo_Acc8 0.3211, Emo_Acc2 0.2779, TEA 0.2779)에 비해 상당히 향상된다.
- Abla tion은 ERA가 TEA와 SSIM을 향상시키고, ECT+DSEE를 추가하면 의미-씨와 TEA가 더 높아지는 최적의 균형을 제공하나 소폭의 SSIM 트레이드오프가 발생한다.
- 사용자 연구는 구조적 유사성, 의미 가능성, 감정 활성화, 미학 측면에서 EmoKGEdit을 최고로 평가했다.
- 정성적 결과는 전경 중심의 영역 로컬라이즈된 감정 주입이 전반적 과편집을 피하면서 콘텐츠에 충실함을 보인다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.