[논문 리뷰] Think Bright, Diffuse Nice: Enhancing T2I-ICL via Inductive-Bias Hint Instruction and Query Contrastive Decoding

Zhiyong Ma, Zhenpeng Li외 4명|arXiv (Cornell University)|2026. 01. 07.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

TBDN은 Hint Instruction(HI)과 Query Contrastive Decoding(QCD)을 결합한 학습 없이 가능한 Text-to-Image In-Context Learning(T2I-ICL) 프레임워크로, 준수 실패와 사전 편향 편향에 의한 환각을 감소시키고, 학습 없이 다수 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Text-to-Image In-Context Learning (T2I-ICL) enables customized image synthesis via interleaved text-image examples but faces two mutually reinforcing bottlenecks, compliance failure and prior-dominated hallucination, that form a vicious cycle degrading generation quality. Existing methods rely on tailored training, which limits flexibility and raises deployment costs. To address these challenges effectively, we propose TBDN, a training-free framework integrating two complementary closed-loop mechanisms: Hint Instruction (HI) and Query Contrastive Decoding (QCD). HI injects task-aware inductive bias via lightweight prompt engineering to anchor models on contextual mapping rules, thereby mitigating compliance failure. QCD adjusts the decoding distributions of language models by contrasting full-input and query-omitted distributions, suppressing prior-dominated hallucination. TBDN achieves State-of-the-Art performance on CoBSAT and Text-to-Image Fast Mini-ImageNet, with robust generalization across model backbones, prompt designs, and hyperparameters. It also maintains promising performance in concept preservation and prompt following on Dreambench++. By breaking the two bottlenecks, TBDN establishes a simple yet effective framework for efficient and reliable T2I-ICL.

연구 동기 및 목표

• T2I-ICL의 두 가지 핵심 병목 현상인 컴플라이언스 실패와 사전 중심 환각을 식별한다.
• HI와 QCD를 결합한 학습 없는 프레임워크 TBDN을 제안하여 이 병목 현상을 해결한다.
• LVLM 백본, 프로프트, 하이퍼파라미터 전반에 걸친 TBDN의 강건성과 일반화를 입증한다.
• 학습 없이 CoBSAT 및 Text-to-Image Fast Mini-ImageNet에서 최첨단 성능을 보여준다.

제안 방법

• Hint Instruction(HI): 최종 쿼리에 맥락 매핑 규칙 추론을 고정하기 위해 프롬프트 기반의 귀납 편향 메커니즘을 도입한다.
• Query Contrastive Decoding(QCD): 전체 입력 분포와 쿼리 생략 분포를 대비해 사전 정보를 억제하고 입력 맥락과의 정렬을 강화하는 디코딩 전략을 도입한다.
• 다섯 단계 TBDN 워크플로우 기술: Pre-processing, Injection of HI, Reasoning by LVLM, Decoding with P_sub and P_full via QCD, and Diffusion-based image synthesis.
• QCD 분포를 P_full = ∏ pθ(y_t | X_ins, X_con, X_que, y_<t)와 P_sub = ∏ pθ(y_t | X_ins, X_con, y_<t)로 형식화하고 Y는 P_qcd ∝ softmax((1+α)·P_full − α·P_sub)에서 샘플링한다.
• LVLM 출력물을 고충실도 이미지로 변환하기 위한 확산 모델과의 통합을 보여준다.
• 기본선(SEED-LLaMA, SEED-X, Emu, GILL, ThinkDiff 등)과 HI 및 QCD의 다중 LVLM 백본 및 프롬프트에 대한 ablation을 수행한다.

실험 결과

연구 질문

• RQ1 HI가 최종 쿼리에 대한 작업 인식 귀납 편향을 주입해 컴플라이언스 실패를 완화할 수 있는가?
• RQ2 QCD가 전체 입력과 쿼리 미포함 디코딩 분포를 대비해 사전 편향된 환각을 억제할 수 있는가?
• RQ3 HI와 QCD가 보완적 이득을 제공하며 TBDN이 LVLM 백본과 프롬프트 전반에서 학습 없이 동작하는가?
• RQ4 CoBSAT, Text-to-Image Fast Mini-ImageNet, Dreambench++에서 TBDN의 성능이 최첨단과 비교해 어떤가?
• RQ5 HI와 QCD가 효율성 및 토큰 오버헤드 측면에서 다른 지시 템플릿과 비교하여 어떤 차이가 있는가?

주요 결과

• TBDN은 2-shot 및 4-shot 설정에서 CoBSAT 및 Text-to-Image Fast Mini-ImageNet에서 최첨단 결과를 달성한다.
• Base (Q2) 및 Base (I3) 파이프라인은 추가 형태 정렬 없이 ThinkDiff를 능가한다.
• ablations에서 HI와 QCD가 일관된 개선을 제공하며, 두 가지를 결합하면 가장 강력한 결과를 도출한다.
• TBDN은 학습 없이 LVLM 백본, 프롬프트 및 하이퍼파라미터 전반에 걸쳐 강건한 일반화를 보여준다.
• Dreambench++에서 TBDN은 프롬프트 추적에 유망하지만 고정 시각 생성기로 인한 개념 보존의 한계가 일부 있다.
• HI는 일반적으로 배경 및 동작 관련 작업을 개선하는 반면, QCD는 객체/속성 추론을 강화한다; 함께 상호 보완적 루프를 형성한다.
• 지시 템플릿 변형(CB-Ins, CoT-Ins, TD-Ins, TD-Ins++)과 비교할 때, HI가 중간 토큰 비용으로 가장 좋은 효과성과 효율성의 균형을 제공한다.