[論文レビュー] Understanding Degradation with Vision Language Model

Guanzhou Lan, Chenyi Liao+6 more|arXiv (Cornell University)|Feb 4, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

この論文は、退化タイプ、パラメータキー、連続値を自己回帰目的で統一するマルチモーダル・チェーン・オブ・ソートモデルDU-VLMを導入し、DU-110kデータセットを裏付けとして、ゼロショット拡散ベースの画像復元と様々な退化に対する堅牢性を実現する。

ABSTRACT

Understanding visual degradations is a critical yet challenging problem in computer vision. While recent Vision-Language Models (VLMs) excel at qualitative description, they often fall short in understanding the parametric physics underlying image degradations. In this work, we redefine degradation understanding as a hierarchical structured prediction task, necessitating the concurrent estimation of degradation types, parameter keys, and their continuous physical values. Although these sub-tasks operate in disparate spaces, we prove that they can be unified under one autoregressive next-token prediction paradigm, whose error is bounded by the value-space quantization grid. Building on this insight, we introduce DU-VLM, a multimodal chain-of-thought model trained with supervised fine-tuning and reinforcement learning using structured rewards. Furthermore, we show that DU-VLM can serve as a zero-shot controller for pre-trained diffusion models, enabling high-fidelity image restoration without fine-tuning the generative backbone. We also introduce extbf{DU-110k}, a large-scale dataset comprising 110,000 clean-degraded pairs with grounded physical annotations. Extensive experiments demonstrate that our approach significantly outperforms generalist baselines in both accuracy and robustness, exhibiting generalization to unseen distributions.

研究の動機と目的

• 画像退化理解を階層的・物理駆動の予測タスクとして再定式化する。
• 退化タイプ、パラメータキー、連続値を単一の自己回帰目的の下で統一する。
• パラメトリック退化理解のための大規模な基盤データセット（DU-110k）を作成する。
• 予測退化パラメータを用いた復元のゼロショットガイダンスを拡散モデルで実演する。
• 未知の退化分布への堅牢性と一般化を示す。

提案手法

• 退化を3層階層として定式化する：タイプ t、キー k、値 v。
• 次トークン予測が定量化グリッドの下で分類、キー選択、回帰を同時に解けることを証明する。
• テキスト的推論と補助視覚情報（FFT、エッジマップ）を用いたマルチモーダルCoTでパラメータを地固めする。
• 階層報酬を用いた教師ありファインチューニングとオフライン/オンラインの構造化強化学習で訓練する。
• 予測パラメータを条件としてGおよびG^{-1}の順向き・逆向き復元を可能にする。
• 物理的に根拠づけられたアノテーションを伴う110kサンプルのデータセットDU-110kを提供する。
• 予測された退化パラメータに導かれたゼロショット拡散ベースの復元をデモンストレーションする。

Figure 1 : Comparison of degradation understanding paradigms. (Left) Latent embedding approaches. (Middle) Free-form text description methods. (Right) Our DU-VLM, which explicitly predicts a hierarchical tuple, providing physically interpretable parameters to directly guide restoration.

実験結果

リサーチクエスチョン

• RQ1 退化理解を階層的な構造化予測問題としてどう定式化できるか。
• RQ2 タイプ分類、キー選択、値回帰といった異種タスクを単一の自己回帰目的に統一できるか。
• RQ3 マルチモーダルCoTは物理的退化パラメータの地固めを改善できるか。
• RQ4 予測された退化パラメータはゼロショット設定で事前訓練済みの拡散モデルを復元に効果的に誘導できるか。
• RQ5 提案フレームワークの未知の退化および実世界データへの一般化能力はどの程度か。

主な発見

• DU-VLMはNight、Haze、Blur、Low Resolution条件において階層的退化パラメータ推定を高精度に達成する。
• 量子化を伴う自己回帰目的は分類および回帰タスクの競争力のある境界を生む。
• FFTとエッジ手掛かりを用いたマルチモーダルCoTはパラメータ精度と復元品質を向上させる。
• DU-VLMは拡散ベースの復元にゼロショットガイダンスを提供し、多様な退化に対して堅牢性を発揮する。
• DU-110kはパラメトリック退化理解のための大規模で物理的に注釈されたベンチマークを提供する。
• 実験はベースラインと比較して復元指標と実世界データへの一般化能力が向上することを示す。

Figure 2 : The construction pipeline of the DU-110k benchmark. We employ a hybrid Simulation-Verification strategy. (Top) Physics-based models synthesize initial clean-degraded pairs with human verification to ensure realism. (Bottom) Examples of the degradation categories alongside specific physica