[논문 리뷰] Blind Image Quality Assessment via Vision-Language Correspondence: A Multitask Learning Perspective

Weixia Zhang, Guangtao Zhai외 3명|arXiv (Cornell University)|2023. 03. 27.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 논문은 시각-언어 대응을 통해 CLIP 임베딩을 활용하여 빌드인 이미지 품질 평가(BIQA), 장면 분류, 왜곡 유형 식별을 동시에 최적화하는 다중 작업 학습 프레임워크인 LIQE를 제안한다. 시각-언어 임베딩에서의 공동 확률을 모델링하고 동적 손실 가중치를 사용함으로써 LIQE는 BIQA 성능을 향상시키고, 강인성을 높이며, 다양한 데이터셋 간에 품질 점수를 인지적으로 의미 있는 방식으로 재정렬할 수 있다.

ABSTRACT

We aim at advancing blind image quality assessment (BIQA), which predicts the human perception of image quality without any reference information. We develop a general and automated multitask learning scheme for BIQA to exploit auxiliary knowledge from other tasks, in a way that the model parameter sharing and the loss weighting are determined automatically. Specifically, we first describe all candidate label combinations (from multiple tasks) using a textual template, and compute the joint probability from the cosine similarities of the visual-textual embeddings. Predictions of each task can be inferred from the joint distribution, and optimized by carefully designed loss functions. Through comprehensive experiments on learning three tasks - BIQA, scene classification, and distortion type identification, we verify that the proposed BIQA method 1) benefits from the scene classification and distortion type identification tasks and outperforms the state-of-the-art on multiple IQA datasets, 2) is more robust in the group maximum differentiation competition, and 3) realigns the quality annotations from different IQA datasets more effectively. The source code is available at https://github.com/zwx8981/LIQE.

연구 동기 및 목표

• 보조 작업의 레이블이 더 쉽게 주석 처리될 수 있음을 활용하여 빌드인 이미지 품질 평가(BIQA)의 데이터 부족 문제를 해결한다.
• BIQA(왜곡에 민감한 작업)와 장면 분류와 같은 고수준 비전 작업(왜곡에 민감하지 않은 작업) 사이의 개념적 갈등을 해결한다.
• 수동 튜닝 없이도 파라미터 공유와 손실 가중치를 자동으로 학습하는 자동화된 다중 작업 학습 프레임워크를 개발한다.
• 다양한 IQA 데이터셋 간의 품질 주석 일致성과 인지적으로 의미 있는 방식으로 품질 점수를 재정렬함으로써 향상된 일致성을 달성한다.
• 개념적으로 다른 작업들(예: 왜곡 유형 식별)이 BIQA 성능 향상에 기여할 수 있음을 입증한다.

제안 방법

• 각 이미지의 장면 카테고리, 왜곡 유형, 품질 수준을 통일된 텍스트 템플릿(예: '나쁜 품질의 가우시안 블러가 있는 도시경관 사진')으로 표현한다.
• CLIP를 사용하여 이미지와 텍스트 기술을 공유되는 시각적 및 텍스트 임베딩으로 인코딩함으로써 공동 표현 학습을 수행한다.
• 이미지와 텍스트 임베딩 간의 코사인 유사도를 사용하여 세 작업에 대한 공동 확률 분포를 계산한다.
• 공동 분포에서 각 작업의 주변 확률를 유도하고, 주변 분포를 사용하여 가중 평균 방식으로 품질 점수를 추론한다.
• BIQA, 장면 분류, 왜곡 유형 식별을 위한 세 가지 정밀도 손실의 가중 합을 최적화하며, 동적 손실 가중치를 사용하여 무작위 튜닝 없이 무게 조정을 자동화한다.
• 보조 레이블이 추가된 통합된 IQA 데이터셋에서 엔드 투 엔드로 모델을 훈련함으로써 파라미터 공유와 공동 최적화를 가능하게 한다.

Figure 2 : System diagram of the proposed LIQE.

실험 결과

연구 질문

• RQ1 빌드인 이미지 품질 평가(BIQA)는 장면 분류나 왜곡 유형 식별과 같은 보조 작업을 다중 작업 학습 프레임워크에서 활용할 수 있는가?
• RQ2 시각-언어 대응을 어떻게 활용하여 다중 작업 BIQA에서 자동으로 파라미터 공유와 손실 가중치를 학습할 수 있는가?
• RQ3 개념적으로 충돌하는 작업들(예: 장면 분류)과의 공동 최적화가 BIQA 성능과 강인성을 향상시키는가?
• RQ4 제안된 방법은 서로 다른 IQA 데이터셋에서 유래한 품질 점수를 더 인지적으로 일관된 척도로 재정렬할 수 있는가?
• RQ5 각 보조 작업이 최종 BIQA 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• LIQE는 여러 BIQA 데이터셋에서 최신 기술을 능가하며, 표준 및 그룹 최대 분류 기준 모두에서 더 높은 중앙값 SRCC(스피어만 순위상관계 계수)를 달성한다.
• 왜곡 유형 식별의 포함이 BIQA 성능 향상에 크게 기여함을 보여주며, 이는 작업 간의 협동 관계를 시사한다.
• 동적 손실 가중치를 사용한 모델이 동일 가중치 대비 뛰어난 성능을 보이며, 수동 하이퍼파라미터 튜닝이 필요 없음을 확인한다.
• 학습 중 언어 인코더를 고정시키면 성능이 떨어지며, 이는 품질 관련 개념이 사전 훈련을 초월해 미세조정이 필요함을 나타낸다.
• LIQE는 여섯 개의 다른 IQA 데이터셋에서 유래한 평균 의견 점수(MOS)를 더 인지적으로 일관된 척도로 성공적으로 재정렬하였으며, 이는 UNIQUE와 같은 이전 방법을 능가한다.
• BIQA에 최적화된 시각 인코더 표현은 사전 훈련된 CLIP와 다름을 보이며, 이는 BIQA 전용 최적화가 일반 전이 가능성에서 벗어나 다른 작업에 대해 덜 적합함을 의미한다.

Figure 3 : gMAD competition results between UNIQUE [ 78 ] and LIQE. (a) Fixed UNIQUE at the low-quality level. (b) Fixed UNIQUE at the high-quality level. (c) Fixed LIQE at the low-quality level. (d) Fixed LIQE at the high-quality level.