Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] DIAMOND: Directed Inference for Artifact Mitigation in Flow Matching Models

Alicja Polowczyk, Agnieszka Polowczyk|arXiv (Cornell University)|Jan 31, 2026
Generative Adversarial Networks and Image Synthesis被引用数 0
ひとこと要約

DIAMOND は、流れの整合と拡散モデルのアーティファクトを推定されたクリーンな潜在変数と勾配ベースの軌道補正で修正する、トレーニング不要な推論時手法です。

ABSTRACT

Despite impressive results from recent text-to-image models like FLUX, visual and anatomical artifacts remain a significant hurdle for practical and professional use. Existing methods for artifact reduction, typically work in a post-hoc manner, consequently failing to intervene effectively during the core image formation process. Notably, current techniques require problematic and invasive modifications to the model weights, or depend on a computationally expensive and time-consuming process of regional refinement. To address these limitations, we propose DIAMOND, a training-free method that applies trajectory correction to mitigate artifacts during inference. By reconstructing an estimate of the clean sample at every step of the generative trajectory, DIAMOND actively steers the generation process away from latent states that lead to artifacts. Furthermore, we extend the proposed method to standard Diffusion Models, demonstrating that DIAMOND provides a robust, zero-shot path to high-fidelity, artifact-free image synthesis without the need for additional training or weight modifications in modern generative architectures. Code is available at https://gmum.github.io/DIAMOND/

研究の動機と目的

  • 高価なファインチューニングなしで実用的なアーティファクト低減を画像合成時に動機づける。
  • 生成中にオンザフライでアーティファクトを検出・修正するトレーニング不要のパイプラインを開発する。
  • プロンプト忠実度を保ちながらアーティファクトを減らすための領域レベルの正確なガイダンスを可能にする。

提案手法

  • 中間潜在から予測 Velociy v_theta（Flow Matching）またはノイズ予測（Diffusion）を用いて hat{x}_{0,t} というクリーン潜在推定値を計算する。
  • hat{x}_{0,t} をデコードして画像を得、微分可能な Artifact Detector を適用してアーティファクトマスク M^t を得る。
  • アーティファクト損失 L_a をピクセルごとのアーティファクト確率の平均として定義し、x_t に関する勾配を計算する。
  • 勾配を正規化し、時間依存の lambda_t でスケーリングした delta_t の軌道補正を適用してアーティファクトから逸れる方向へ導く。
  • パワーに基づくスケジュール lambda_t を用いて、初期により強い補正を適用し後半で減衰させる。
  • x_{t-1} の更新に delta_t を組み込み、Flow-based 形式と類似した拡散モデルへの一般化を行う。
Figure 3 : Overview of DIAMOND . Our technique employs an inference-time pipeline specifically designed to mitigate artifacts without requiring additional training. Artifact suppression is achieved by correcting the trajectory using gradients derived from a pixel-wise segmentation loss. During infer
Figure 3 : Overview of DIAMOND . Our technique employs an inference-time pipeline specifically designed to mitigate artifacts without requiring additional training. Artifact suppression is achieved by correcting the trajectory using gradients derived from a pixel-wise segmentation loss. During infer

実験結果

リサーチクエスチョン

  • RQ1アーティファクトなしの画像合成をモデルの再訓練やファインチューニングなしで達成できるか。
  • RQ2微分可能なアーティファクト検出器に基づくオンザフライの軌道補正がプロンプト忠実度を保ちながらアーティファクトを低減するか。
  • RQ3拡散モデルと Rectified Flow の異なるベースモデル、データセットでアーティファクトガイド付きサンプリングがどのように機能するか。
  • RQ4勾配正規化と正則化項がアーティファクト低減とアイデンティティ保持に及ぼす影響はどの程度か。
  • RQ5どのアーティファクト検出器がアーティファクト低減と画像品質のトレードオフで最良か。

主な発見

ModelCLIP-T ↑Mean Artifact Freq (%) ↓ImageReward ↑Artifact Pixel Ratio (%) ↓MAE ↓MAE (A) ↓MAE (NA) ↓
FLUX.2 [dev]39.532 ± 0.157100.000 ± 0.0001.354 ± 0.0820.325 ± 0.048---
+ DIAMOND39.598 ± 0.28230.772 ± 4.7721.343 ± 0.0510.074 ± 0.0219.402 ± 0.45931.241 ± 4.2509.319 ± 0.540
FLUX.1 [dev]36.443 ± 0.095100.000 ± 0.0000.790 ± 0.0350.152 ± 0.011---
+ DiffDoctor36.418 ± 0.25646.970 ± 6.3130.744 ± 0.0380.065 ± 0.01411.469 ± 0.69535.787 ± 1.09311.435 ± 0.691
+ HPSv235.689 ± 0.39956.823 ± 6.1920.698 ± 0.0810.093 ± 0.01723.751 ± 0.28945.050 ± 4.15623.721 ± 0.284
+ DIAMOND36.151 ± 0.1979.848 ± 2.9010.819 ± 0.0650.009 ± 0.0028.744 ± 0.09736.064 ± 2.0018.707 ± 0.099
FLUX.1 [schnell]37.377 ± 0.237100.000 ± 0.0001.175 ± 0.0260.812 ± 0.070---
+ DiffDoctor37.448 ± 0.24065.250 ± 4.5001.158 ± 0.0270.271 ± 0.05112.856 ± 0.11927.014 ± 1.24312.755 ± 0.116
+ HPSv237.552 ± 0.20491.750 ± 0.9571.170 ± 0.0220.765 ± 0.06615.605 ± 0.04231.162 ± 1.36515.498 ± 0.041
+ DIAMOND37.324 ± 0.12432.250 ± 0.9571.162 ± 0.0260.103 ± 0.0425.135 ± 0.04921.217 ± 0.9455.026 ± 0.051
Stable Diffusion XL+ HandsXL38.061 ± 0.12879.845 ± 2.2621.092 ± 0.0430.618 ± 0.05026.168 ± 0.78837.102 ± 1.16026.119 ± 0.781
+ DIAMOND38.503 ± 0.13966.328 ± 3.6341.158 ± 0.0450.303 ± 0.0507.951 ± 0.24118.151 ± 0.4097.906 ± 0.236
  • DIAMOND は基準レベルからアーティファクトの頻度を劇的に低減（例: モデルとデータセットに応じて約100%から約9–31%程度へ）。
  • DIAMOND はモデル間でアーティファクトピクセル比を低下させ、アーティファクトの局所的抑制を示す。
  • DIAMOND はアーティファクト低減と base-model のアイデンティティ保持を前提に、知覚品質指標（CLIP-T、ImageReward）をやや改善または維持する。必要に応じて L_rec 正則化。
  • 勾配正規化は軌道補正を安定化させ、アーティファクトの抑制を高める。
  • DIAMOND は Flow Matching（例: FLUX）と Diffusion モデル（例: SDXL）の両方へ一般化し、DiffDoctor、HandsXL、HPSv2 などと比較してアーティファクト低減で優れる。
  • アーティファクト検出器の選択（DiffDoctor 対 RichHF*）は全体の画像品質に実質的な影響を与え、DiffDoctor の方が CLIP-T と ImageReward のスコアが良い。
Figure 13 : Images for the FLUX.1 [dev] on the people dataset using DIAMOND for 10 inference steps. In this type of flow matching model, we can direct the trajectory by correcting large artifacts, such as improving the body shape (see the image with the wizards), and smaller ones (correcting the han
Figure 13 : Images for the FLUX.1 [dev] on the people dataset using DIAMOND for 10 inference steps. In this type of flow matching model, we can direct the trajectory by correcting large artifacts, such as improving the body shape (see the image with the wizards), and smaller ones (correcting the han

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。