Skip to main content
QUICK REVIEW

[论文解读] Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels

Haoning Wu, Zicheng Zhang|arXiv (Cornell University)|Dec 28, 2023
Multimodal Machine Learning ApplicationsComputer Science被引用 33
一句话总结

Q-Align 使用离散的文本定义等级(excellent/good/fair/poor/bad)来对视觉内容进行评分,而非直接的数值分数,从而在 IQA、IAA 和 VQA 上取得最先进的结果,并实现 OneAlign——一个用于这三项任务的统一模型。

ABSTRACT

The explosion of visual content available online underscores the requirement for an accurate machine assessor to robustly evaluate scores across diverse types of visual contents. While recent studies have demonstrated the exceptional potentials of large multi-modality models (LMMs) on a wide range of related fields, in this work, we explore how to teach them for visual rating aligned with human opinions. Observing that human raters only learn and judge discrete text-defined levels in subjective studies, we propose to emulate this subjective process and teach LMMs with text-defined rating levels instead of scores. The proposed Q-Align achieves state-of-the-art performance on image quality assessment (IQA), image aesthetic assessment (IAA), as well as video quality assessment (VQA) tasks under the original LMM structure. With the syllabus, we further unify the three tasks into one model, termed the OneAlign. In our experiments, we demonstrate the advantage of the discrete-level-based syllabus over direct-score-based variants for LMMs. Our code and the pre-trained weights are released at https://github.com/Q-Future/Q-Align.

研究动机与目标

  • 推动稳健的视觉评分,使之能够泛化至多样化内容和未见过的数据集。
  • 探索使用离散的文本定义评分等级来训练 LMM,而非直接分数。
  • 将 IQA、IAA 和 VQA 统一成一个单一模型,并展示数据高效学习。
  • 展示离散等级课程表改善跨数据集泛化和数据效率。

提出的方法

  • 提出一个基于评分等级的教学大纲,将现有 MOS 分数转换为五个文本定义等级(bad、poor、fair、good、excellent)用于训练。
  • 通过在分数范围内等距区间划分将训练分数转换为等级,保持与真实值约0.95的 PLCC 相关性。
  • 在推理阶段,通过 softmax 池化将 LMM 输出的等级概率映射为等级概率,并使用 G(l_i) 映射计算加权分数。
  • 通过将一系列帧输入到一个 LMM 框架来统一图像(IQA、IAA)和视频(VQA)的评分(通过一个降低每张图像标记数的视觉摘要器)。
  • 采用一个具有共享结构、交叉熵损失的 LMM(mPLUG-Owl-2),并具有一个推理机制,模拟来自人工评分的 MOS 收集。
  • 引入 OneAlign,以在 IQA、IAA 和 VQA 数据集上联合训练,形成一个统一的视觉评分器。

实验结果

研究问题

  • RQ1离散等级教学大纲是否能够提升基于 LMM 的视觉评分,相较于直接分数目标?
  • RQ2评分等级训练如何影响 IQA、IAA 和 VQA 的跨数据集(OOD)泛化?
  • RQ3在不牺牲任务特定性能的前提下,是否可以在单一模型中统一 IQA、IAA 和 VQA?
  • RQ4在评分等级教学大纲下,基于 LMM 的视觉评分可以达到多高的数据效率?

主要发现

  • Q-Align 在相同的 LMM 结构下,在跨 12 个数据集的 IQA、IAA 和 VQA 上实现了最先进的性能。
  • 离散等级训练比基于分数的变体提升约 10%。
  • Q-Align 展示了出色的分布外泛化,在未见数据集上获得显著提升,且数据高效学习(FewShot-Q-Align 使用约 20% 的数据)。
  • OneAlign 将 IQA、IAA、VQA 统一成一个单一模型,并在若干未见数据集上提升了 OOD 泛化。
  • 该方法实现快速收敛,通常需要1–2个训练周期,且比分数目标基线显著降低训练成本;推理在1 fps 视频处理下仍然高效。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。