[論文レビュー] Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels
Q-Align は、直接的な数値スコアの代わりに離散的なテキスト定義レベル(excellent/good/fair/poor/bad)を用いて視覚コンテンツを評価する大規模マルチモーダルモデルを訓練し、IQA、IAA、VQA で最先端の成果を達成するとともに、三つのタスクすべてを統合する OneAlign—a unified model for all three tasks—を可能にする。
The explosion of visual content available online underscores the requirement for an accurate machine assessor to robustly evaluate scores across diverse types of visual contents. While recent studies have demonstrated the exceptional potentials of large multi-modality models (LMMs) on a wide range of related fields, in this work, we explore how to teach them for visual rating aligned with human opinions. Observing that human raters only learn and judge discrete text-defined levels in subjective studies, we propose to emulate this subjective process and teach LMMs with text-defined rating levels instead of scores. The proposed Q-Align achieves state-of-the-art performance on image quality assessment (IQA), image aesthetic assessment (IAA), as well as video quality assessment (VQA) tasks under the original LMM structure. With the syllabus, we further unify the three tasks into one model, termed the OneAlign. In our experiments, we demonstrate the advantage of the discrete-level-based syllabus over direct-score-based variants for LMMs. Our code and the pre-trained weights are released at https://github.com/Q-Future/Q-Align.
研究の動機と目的
- diverse content へ generalize できる robust な視覚スコアリング を Motivate
- Discrete, text-defined rating levels rather than direct scores を用いた LMM の訓練 を Explore
- IQ A、IAA、VQA を単一モデルに統合し data-efficient な学習 を Demonstrate
- Discrete-level syllabus が cross-set generalization と data efficiency を改善 することを Show
提案手法
- 既存の MOS スコアを訓練用の five text-defined levels(bad, poor, fair, good, excellent)へ変換する rating-level ベースの syllabus を 提案
- 訓練スコアを score range 全体で等間隔分割により levels へ変換し、ground truth との ~0.95 PLCC 相関を維持
- 推論時には LMM 出力レベル確率を softmax pooling でマッピングしてレベル確率を得、G(l_i) マッピングを用いて加重スコアを計算
- IQA, IAA の image アセスメントと VQA の video アセスメントを、frames のシーケンスを visual abstractor(1 枚あたりのトークンを削減)経由で LMM に入力することで統一
- 共有構造・クロスエントロピー損失・MOS コレクションを人間の評価と同様の推論機構で模倣する LMM(mPLUG-Owl-2)を採用
- OneAlign を導入して IQA、IAA、VQA のデータセットを jointly 学習 し、統一された視覚スコーラーを構築
実験結果
リサーチクエスチョン
- RQ1離散的な rating-level syllabus は direct-score target よりも LMM ベースの視覚スコアリングを改善するか?
- RQ2rating-level 学習は IQA、IAA、VQA のクロスデータセット(OOD)一般化にどのように影響するか?
- RQ3IQA、IAA、VQA を単一モデルで統合して、タスク固有の性能を犠牲にせず実現可能か?
- RQ4rating-level syllabus の下で LMM ベースの視覚スコアリングはどれくらいデータ効率を達成できるか?
主な発見
- Q-Align は同一の LMM 構造の下で IQA、IAA、VQA の 12 データセットで最先端の性能を達成した。
- 離散レベルの訓練はスコアベースの変種より約 10% の性能向上を示した。
- Q-Align は未知データセットで顕著な利得を示す高いOOD一般化とデータ効率の良さを示し、FewShot-Q-Align は約 20% のデータで運用可能。
- OneAlign は IQA、IAA、VQA を単一モデルに統合し、いくつかの unseen データセットでの OOD 一般化を改善。
- このアプローチは収束を速くし、1–2 エポクで収束することが多く、スコアターゲットのベースラインよりも訓練コストが大幅に低く、推論は 1 fps のビデオ処理で効率的に保たれる。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。