[논문 리뷰] Self-Corrected Image Generation with Explainable Latent Rewards

Yinyi Luo, Hrishikesh Gokhale외 3명|arXiv (Cornell University)|2026. 03. 26.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

xLARD는 해석 가능한 잠재 보상을 사용하여 잠재 공간에서 이미지 생성을 안내하는 자기 교정 프레임워크로, 백본을 재훈련하지 않고도 의미적 정렬(카운트, 색상, 위치)을 개선합니다. 이는 이해 기반 강화 보정기, 개념 정렬 이탈 탐지기, 및 미분가능한 잠재 보상 투영기를 결합합니다.

ABSTRACT

Despite significant progress in text-to-image generation, aligning outputs with complex prompts remains challenging, particularly for fine-grained semantics and spatial relations. This difficulty stems from the feed-forward nature of generation, which requires anticipating alignment without fully understanding the output. In contrast, evaluating generated images is more tractable. Motivated by this asymmetry, we propose xLARD, a self-correcting framework that uses multimodal large language models to guide generation through Explainable LAtent RewarDs. xLARD introduces a lightweight corrector that refines latent representations based on structured feedback from model-generated references. A key component is a differentiable mapping from latent edits to interpretable reward signals, enabling continuous latent-level guidance from non-differentiable image-level evaluations. This mechanism allows the model to understand, assess, and correct itself during generation. Experiments across diverse generation and editing tasks show that xLARD improves semantic alignment and visual fidelity while maintaining generative priors. Code is available at https://yinyiluo.github.io/xLARD/.

연구 동기 및 목표

• 멀티모달 이해와 이미지 생성 간의 격차를 동기 부여하고 T2I 모델의 의미적 불일치를 다룬다.
• 모델의 자체 이해를 가이드로 활용하는 플러그 앤 플레이 잠재 공간 보정기를 도입한다.
• 잠재 편집에서 의미적 단서를 매핑하는 해석 가능한 보상(r_latent)을 제공한다(카운트, 색상, 위치).
• 백본 수정과 데이터 최소화로 의미론적 충실도 및 시각적 품질 향상을 보여준다.
• 텍스트 토큰과 잠재 영역으로의 보정을 추적하는 해석 가능 도구를 선보인다.

제안 방법

• 얼굴가 아닌 텍스트-이미지 생성기 고정된 잠재 공간에 경량 잔여 보정기를 도입하여 보정된 잠재 z_c = z_0 + alpha * Delta_theta(z_0, e_p)를 생성한다.
• 미분 가능 잠재 보상 투영기 R_phi를 학습시켜 잠재 보정을 해석 가능한 보상 r_latent으로 매핑하고 비미분 가능 이미지 수단 보상에 근사한다.
• Conception Misalignment Detection(CMD)을 사용해 전역 정합성에 대한 이미지 수준 일관성 가이던스를 제공한다.
• 백본 특징과 프롬프트 구조로부터 도출된 카운팅, 색상, 위치 차원에서의 작업별 하위 보상을 정의한다.
• Delta_theta를 PPO 기반 목적함수로 최적화하여 기대 잠재 보상을 최대화하고 분산 감소를 위한 학습 기준치를 사용한다.
• 추론 시 보상 계산 없이 단일 잠재에 Delta_theta를 직접 적용해 기본 생성기와 런타임 동등성을 유지한다.

실험 결과

연구 질문

• RQ1 자체 교정 잠재 공간 모듈이 백본 재훈련 없이 프롬프트 기반 이미지 생성의 의미 정합성을 개선할 수 있는가?
• RQ2 해석 가능한 잠재 보상(카운트, 색상, 위치)을 어떻게 도출하고 실시간으로 생성 가이딩에 사용할 수 있는가?
• RQ3 모델에서 도출된 해석 가능한 피드백을 통합하면 다양한 벤치마크에서 카운트, 공간 배치, 색상 충실도가 향상되는가?

주요 결과

Method	Type	Params	DPG-Bench	GenEval
xLARD	Plug-and-play latent correction	Backbone frozen; URC + reward projector; PPO training	86.45	0.81

• xLARD는 의미적 충실도와 시각 품질을 높이며 기저선 대비 GenEval에서 +4.1% 이득, DPGBench에서 +2.97% 이득을 달성했다.
• 사후 학습 기반과 비교하여 xLARD는 데이터와 계산이 덜 필요하면서 생성 prior를 유지한다.
• 삭제적 연구(Ablation) 결과 RL 목적 함수, 신뢰도 가이드, 잠재 앵커가 각각 이득에 기여하며, 특히 레이아웃 및 관계 작업에서 잠재 앵커의 영향이 크다.
• 해석 신호(LAMs 및 토큰 기여도)는 보정 동작과 의미적 영향력을 안정적으로 반영하며, 토큰 수준 기여도가 보상 개선과 일치한다.
• 백본 간 교차 평가를 통해 확산 및 관련 아키텍처에서 플러그 앤 플레이의 견고성을 확인했다.