Skip to main content
QUICK REVIEW

[논문 리뷰] Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels

Haoning Wu, Zicheng Zhang|arXiv (Cornell University)|2023. 12. 28.
Multimodal Machine Learning ApplicationsComputer Science인용 수 33
한 줄 요약

Q-Align은 대규모 다중 모달 모델을 학습시켜 시각 콘텐츠를 discrete text-defined levels (excellent/good/fair/poor/bad)로 점수 매기며 직접적인 수치 점수 대신 IQA, IAA, VQA에서 최첨단 결과를 달성하고 OneAlign—세 가지 작업을 위한 통합 모델을 가능하게 합니다.

ABSTRACT

The explosion of visual content available online underscores the requirement for an accurate machine assessor to robustly evaluate scores across diverse types of visual contents. While recent studies have demonstrated the exceptional potentials of large multi-modality models (LMMs) on a wide range of related fields, in this work, we explore how to teach them for visual rating aligned with human opinions. Observing that human raters only learn and judge discrete text-defined levels in subjective studies, we propose to emulate this subjective process and teach LMMs with text-defined rating levels instead of scores. The proposed Q-Align achieves state-of-the-art performance on image quality assessment (IQA), image aesthetic assessment (IAA), as well as video quality assessment (VQA) tasks under the original LMM structure. With the syllabus, we further unify the three tasks into one model, termed the OneAlign. In our experiments, we demonstrate the advantage of the discrete-level-based syllabus over direct-score-based variants for LMMs. Our code and the pre-trained weights are released at https://github.com/Q-Future/Q-Align.

연구 동기 및 목표

  • 다양한 콘텐츠와 보이지 않는 데이터 세트에 일반화되는 강력한 시각 점수를 목표로 합니다.
  • 직접 점수 대신 이산적 텍스트 정의 등급 수준을 사용하여 LMM을 학습시키는 방법을 탐구합니다.
  • IQ A, IAA, VQA를 하나의 모델로 통합하고 데이터 효율적 학습을 입증합니다.
  • 이산 수준 강의안이 교차 집합 일반화와 데이터 효율성을 향상시킨다는 것을 보여줍니다.

제안 방법

  • 기존 MOS 점수를 training을 위한 다섯 가지 텍스트 정의 수준(bad, poor, fair, good, excellent)으로 변환하는 등급 수준 기반 강의안을 제안합니다.
  • 점수 범위에 걸쳐 등간 간격 파티션을 통해 training 점수를 레벨로 변환하고 ground truth와의 ~0.95 PLCC 상관관계를 보존합니다.
  • 추론 시 LMM 출력 레벨 확률에 softmax 풀링을 적용하여 레벨 확률을 얻고 G(l_i) 매핑을 사용해 가중 점수를 계산합니다.
  • 이미지(IQA, IAA)와 비디오(VQA) 점수를 이미지당 토큰 수를 줄이는 시각 추상기를 통해 프레임 시퀀스를 LMM 프레이워크에 입력함으로써 통합합니다.
  • 공유 구조, cross-entropy 손실, 인간 등급의 MOS 수집을 모방하는 추론 메커니즘을 갖춘 LMM(mPLUG-Owl-2)을 채택합니다.
  • iqA, IAA, VQA 데이터셋을 공동으로 학습시켜 통합 시각 점수를 생성하는 OneAlign를 도입합니다.

실험 결과

연구 질문

  • RQ1디스크리트 레이팅 레벨 강의안이 직접 점수 타깃에 비해 LMM 기반 시각 점수를 개선할 수 있나요?
  • RQ2레이팅-레벨 학습이 IQA, IAA, VQA의 교차 데이터 세트(OOD) 일반화에 어떤 영향을 미치나요?
  • RQ3하나의 모델에서 IQA, IAA, VQA를 통합하되 작업별 성능을 저해하지 않는가요?
  • RQ4레이팅-레벨 강의안 하에서 LMM 기반 시각 점수화가 데이터 효율적으로 얼마나 가능합니까?

주요 결과

  • Q-Align은 같은 LMM 구조에서 IQA, IAA, VQA에 걸쳐 12개의 데이터 세트에서 최첨단 성능을 달성합니다.
  • 디스크리트 레벨 학습은 점수 기반 변형에 비해 성능을 약 10% 향상시킵니다.
  • Q-Align은 강력한 out-of-distribution 일반화를 보여주고 보지 못한 데이터 세트에서 눈에 띄는 이득과 데이터 효율적 학습(FewShot-Q-Align은 약 20%의 데이터 사용)을 보여줍니다.
  • OneAlign은 IQA, IAA, VQA를 단일 모델로 통합하고 다수의 보지 못한 데이터 세트에서 OOD 일반화를 개선합니다.
  • 이 접근법은 수렴이 빠르게 이루어지며 종종 1–2 에포드가 필요하고 점수 목표 베이스라인보다 학습 비용이 크게 낮으며 추론은 1 fps 비디오 처리로도 효율적입니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.