[논문 리뷰] Understanding Degradation with Vision Language Model

Guanzhou Lan, Chenyi Liao외 6명|arXiv (Cornell University)|2026. 02. 04.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

이 논문은 DU-VLM을 소개한다. 이는 자동회귀 목표 하에 열화 유형, 파라미터 키, 연속 값을 통합하는 멀티모달 체인-오브- thought 모델로, DU-110k 데이터세트에 의해 지원되어 제로샷 확산 기반 이미지 복원과 다양한 열화에 대한 강건성을 가능하게 한다.

ABSTRACT

Understanding visual degradations is a critical yet challenging problem in computer vision. While recent Vision-Language Models (VLMs) excel at qualitative description, they often fall short in understanding the parametric physics underlying image degradations. In this work, we redefine degradation understanding as a hierarchical structured prediction task, necessitating the concurrent estimation of degradation types, parameter keys, and their continuous physical values. Although these sub-tasks operate in disparate spaces, we prove that they can be unified under one autoregressive next-token prediction paradigm, whose error is bounded by the value-space quantization grid. Building on this insight, we introduce DU-VLM, a multimodal chain-of-thought model trained with supervised fine-tuning and reinforcement learning using structured rewards. Furthermore, we show that DU-VLM can serve as a zero-shot controller for pre-trained diffusion models, enabling high-fidelity image restoration without fine-tuning the generative backbone. We also introduce extbf{DU-110k}, a large-scale dataset comprising 110,000 clean-degraded pairs with grounded physical annotations. Extensive experiments demonstrate that our approach significantly outperforms generalist baselines in both accuracy and robustness, exhibiting generalization to unseen distributions.

연구 동기 및 목표

• 이미지 열화 이해를 계층적이고 물리 기반의 예측 작업으로 재정의한다.
• 열화 유형, 파라미터 키, 연속 값을 단일 자동회귀 목표 아래 통합한다.
• 파라메트릭 열화 이해를 위한 대규모의 근거 있는 데이터세트(DU-110k)를 만든다.
• 예측된 열화 파라미터를 이용한 복원에 대해 확산 모델의 제로샷 가이던스를 시연한다.
• 제안된 프레임워크의 미지의 열화 분포에 대한 강건성과 일반화를 보여준다.

제안 방법

• 열화를 유형 t, 키 k, 값 v의 3단계 계층으로 구성한다.
• 다음 토큰 예측이 분류, 키 선택, 양자화 격자 하의 회귀를 함께 해결할 수 있음을 입증한다.
• 텍스트 근거와 보조 시각 자료(FFT, 에지 맵)로 파라미터를 grounding하기 위해 멀티모달 체인-오브-생각(CoT)을 사용한다.
• 계층적 보상 기반의 지도학습 미세조정과 오프라인/온라인 구조화 강화 학습으로 학습한다.
• 예측된 파라미터를 조건으로 G 및 G^{-1}의 순방향 및 역방향 복원을 가능하게 한다.
• DU-110k를 물리적으로 근거 있는 주석이 달린 11만 샘플 벤치마크로 제공한다.
• 예측된 열화 파라타머에 의해 제로샷 확산 기반 복원을 시연한다.

Figure 1 : Comparison of degradation understanding paradigms. (Left) Latent embedding approaches. (Middle) Free-form text description methods. (Right) Our DU-VLM, which explicitly predicts a hierarchical tuple, providing physically interpretable parameters to directly guide restoration.

실험 결과

연구 질문

• RQ1 열화 이해를 계층적 구조화된 예측 문제로 어떻게 형상화할 수 있는가?
• RQ2 다양한 작업(유형 분류, 키 선택, 값 회귀)을 하나의 자동회귀 목표 아래 통합할 수 있는가?
• RQ3 멀티모달 체인-오브-생각이 물리적 열화 파라미터의 grounding을 향상시키는가?
• RQ4 예측된 열화 파라미터가 제로샷 설정에서 사전 학습된 확산 모델의 복원을 효과적으로 이끌 수 있는가?
• RQ5 제안된 프레임워크의 일반화 능력이 미지의 열화 및 실제 데이터에 대해 어떠한가?

주요 결과

• DU-VLM은 Night, Haze, Blur, 및 Low Resolution 조건에서 계층적 열화 파라미터 추정의 정확성을 달성한다.
• 양자화가 적용된 자동회귀 목표는 분류와 회귀 작업에 대해 경쟁력 있는 경계를 제공한다.
• FFT와 에지 신호를 활용한 멀티모달 CoT는 파라미터 정확도와 복원 품질을 향상시킨다.
• DU-VLM은 예측된 열화 파라타머에 의해 확산 기반 복원에 제로샷 가이던스를 제공하며 다양한 열화에서 강건성을 달성한다.
• DU-110k는 파라메트릭 열화 이해를 위한 큰 물리적으로 주석된 벤치마크를 제공한다.
• 실험은 Baseline 대비 실제 데이터 일반화 및 더 나은 복원 지표를 보여준다.
• 동일한 한국어 표현이 중복되지 않게 적절히 다듬어 주세요.

Figure 2 : The construction pipeline of the DU-110k benchmark. We employ a hybrid Simulation-Verification strategy. (Top) Physics-based models synthesize initial clean-degraded pairs with human verification to ensure realism. (Bottom) Examples of the degradation categories alongside specific physica