[論文レビュー] Self-Corrected Image Generation with Explainable Latent Rewards

Yinyi Luo, Hrishikesh Gokhale+3 more|arXiv (Cornell University)|Mar 26, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

xLARDは、 latent spaceの説明可能な報酬を用いて、バックボーンを再訓練することなく意味的整合性を向上させる自己修正フレームワーク。

ABSTRACT

Despite significant progress in text-to-image generation, aligning outputs with complex prompts remains challenging, particularly for fine-grained semantics and spatial relations. This difficulty stems from the feed-forward nature of generation, which requires anticipating alignment without fully understanding the output. In contrast, evaluating generated images is more tractable. Motivated by this asymmetry, we propose xLARD, a self-correcting framework that uses multimodal large language models to guide generation through Explainable LAtent RewarDs. xLARD introduces a lightweight corrector that refines latent representations based on structured feedback from model-generated references. A key component is a differentiable mapping from latent edits to interpretable reward signals, enabling continuous latent-level guidance from non-differentiable image-level evaluations. This mechanism allows the model to understand, assess, and correct itself during generation. Experiments across diverse generation and editing tasks show that xLARD improves semantic alignment and visual fidelity while maintaining generative priors. Code is available at https://yinyiluo.github.io/xLARD/.

研究の動機と目的

• マルチモーダルな理解と画像生成の間のギャップを動機づけ、T2Iモデルにおける意味的ずれに対処する。
• モデル自身の理解をガイドとして使用するプラグアンドプレイの潜在空間補正器を導入する。
• 潜在エディットから意味的手掛かり（数、色、位置）へ写像される解釈可能な報酬を提供する。
• 最小限のバックボーン変更とデータで意味的忠実度と視覚品質を向上させる。
• テキストトークンと潜在領域への補正を追跡する解釈可能性ツールを示す。

提案手法

• 凍結されたテキストから画像生成器の潜在空間に軽量な残差補正器を組み込み、補正潜在 z_c = z_0 + alpha * Delta_theta(z_0, e_p) を生成する。
• 潜在補正を解釈可能な報酬 r_latent に写像する微分可能な潜在報酬プロジェクタ R_phi を訓練し、非微分可能な画像レベル報酬を近似する。
• Conception Misalignment Detection (CMD) を用いて画像レベルの整合性ガイダンスを提供し、グローバルな整合性を向上させる。
• バックボーンの特徴とプロンプト構造から派生した、カウント、カラー、位置の次元に沿ったタスク特化のサブ報酬を定義する。
• Delta_theta を PPO ベースの目的関数で最適化し、報酬の分散を低減する学習済みベースラインを用いて期待潜在報酬を最大化する。
• 推論時には、報酬計算を経ずに単一の潜在空間に Delta_theta を直接適用し、ベース生成器と実行時のパラメータを維持する。

実験結果

リサーチクエスチョン

• RQ1 自己修正可能な潜在空間モジュールは、バックボーンを再訓練せずにプロンプト駆動の画像生成の意味的整合性を改善できるか。
• RQ2 解釈可能な潜在報酬（数、色、位置）をどのように導出し、リアルタイムで生成をガイドするのか。
• RQ3 モデル由来の解釈可能なフィードバックを統合することで、さまざまなベンチマークにおいて数、空間配置、色忠実度が改善されるか。

主な発見

Method	Type	Params	DPG-Bench	GenEval
xLARD	Plug-and-play latent correction	Backbone frozen; URC + reward projector; PPO training	86.45	0.81

• xLARDは意味的忠実度と視覚品質を高め、GenEvalで+4.1%、DPGBenchで+2.97%のゲインを達成。
• 後訓練ベースラインと比較して、xLARDはデータと計算量を削減しつつ生成プリオリを維持。
• アブレーションにより、RL目的関数、信頼度ガイダンス、潜在アンカーの各要素が gains に寄与し、特にレイアウトや関係タスクに対して潜在アンカーの影響が大きいことが示された。
• 解釈可能性シグナル（LAMsとトークン寄与）は補正挙動と意味的影響を信頼性高く反映し、トークンレベルの寄与は報酬の改善と一致する。
• バックボーン横断の評価により、拡散系および関連アーキテクチャに対するプラグアンドプレイの堅牢性が確認された。