[論文レビュー] Exploring CLIP for Assessing the Look and Feel of Images

Jianyi Wang, Kelvin C. K. Chan+1 more|arXiv (Cornell University)|Jul 25, 2022

Visual Attention and Saliency Detection被引用数 8

ひとこと要約

本稿では、タスク固有の微調整を必要とせず、CLIPモデルに内蔵された視覚的・言語的事前学習知識を活用して、画像品質（見た目）と抽象的な知覚的属性（感じ）の両方を評価するゼロショット手法、CLIP-IQAを提案する。反語的プロンプトペア（例：「良い写真。」「悪い写真。」）を用いることで、多様なIQアセットベンチマークおよび抽象的属性において人間の知覚と高い相関を達成し、学習を伴わない手法を上回り、合成データセットでは学習ベースのモデルと同等またはそれを上回る性能を示す。

ABSTRACT

Measuring the perception of visual content is a long-standing problem in computer vision. Many mathematical models have been developed to evaluate the look or quality of an image. Despite the effectiveness of such tools in quantifying degradations such as noise and blurriness levels, such quantification is loosely coupled with human language. When it comes to more abstract perception about the feel of visual content, existing methods can only rely on supervised models that are explicitly trained with labeled data collected via laborious user study. In this paper, we go beyond the conventional paradigms by exploring the rich visual language prior encapsulated in Contrastive Language-Image Pre-training (CLIP) models for assessing both the quality perception (look) and abstract perception (feel) of images in a zero-shot manner. In particular, we discuss effective prompt designs and show an effective prompt pairing strategy to harness the prior. We also provide extensive experiments on controlled datasets and Image Quality Assessment (IQA) benchmarks. Our results show that CLIP captures meaningful priors that generalize well to different perceptual assessments. Code is avaliable at https://github.com/IceClear/CLIP-IQA.

研究の動機と目的

• タスク固有のトレーニングを伴わず、画像品質（見た目）と抽象的な知覚的属性（感じ）の両方を評価するゼロショット手法の開発。
• CLIPの事前学習済み視覚的・言語的事前知識が、客観的画像属性を超えて多様な知覚的評価に一般化可能かどうかの調査。
• CLIPベースの知覚評価における言語的曖昧さとプロンプト感受性を、体系的なプロンプト設計戦略によって解消する。
• 実世界および合成IQアセットデータセットにおける本手法の性能評価、特に微細な品質および抽象的知覚属性を含む。
• CLIPが品質および美的次元の両方において、普遍的な知覚的評価ツールとして機能可能かどうかの提示。

提案手法

• 本手法は、CLIPのビジョン・ランゲージ埋め込み空間を用い、画像特徴を「良い写真。」「悪い写真。」などの反語的プロンプトペアと比較することで、知覚的スコアを推定する。
• 言語的曖昧さの低減と一貫性の向上を目的に、プロンプトペア戦略を導入。各属性は「幸せ」と「悲しい」のような対照的プロンプトペア（例："Happy" vs. "Sad"）を用いて評価される。
• 品質知覚評価では、CLIPを標準的なIQアセットデータセット（例：TID2013、KonIQ-10k）に適用し、「明るい」と「暗い」などのプロンプトを用いて微細な属性を評価する。
• 抽象的知覚評価では、AVAデータセットを用い、「複雑」と「単純」などのプロンプトを用いて「美的価値」「感情的トーン」「複雑さ」などの属性を評価する。
• 最終スコアは、2つの反語的プロンプト間のCLIPのログティックスコアの正規化された差分として計算され、知覚的品質または「感じ」の代理指標として機能する。
• 微調整を施した拡張バージョンであるCLIP-IQA+は、ラベル付きデータを用いて分類器ヘッドを適応させることで、合成ベンチマークにおける性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 CLIPの事前学習済み視覚的・言語的事前知識を、タスク固有の微調整なしに画像品質の評価に効果的に活用できるか？
• RQ2 特に反語的プロンプトペアを用いるプロンプト設計の選択が、知覚評価の一貫性と正確性に与える影響はいかほどか？
• RQ3 感情、美的価値、複雑さといった明確な定量的指標を持たない抽象的知覚的属性に対しても、CLIPは一般化可能か？
• RQ4 CLIP-IQAは、実世界および合成データセットの両方において、既存の学習ベースおよび非学習ベースのIQアセット手法と比較してどのように評価されるか？
• RQ5 反語的プロンプトペア戦略は、視覚的知覚評価における言語的曖昧さをどの程度軽減できるか？

主な発見

• CLIP-IQAは、TID2013の合成IQアセットベンチマークでスピアマン順位相関（SROCC）0.632およびピアソン線形相関（PLCC）0.692を達成し、非学習ベース手法を上回り、最先端の学習ベースモデルと同等の性能を示す。
• KonIQ-10kデータセットでは、全体的な画像品質についてSROCC 0.51およびPLCC 0.571を達成し、微調整なしで人間の知覚と強い整合性を示す。
• 本手法は、明るさ、ノイズ、シャープネスといった微細な品質属性を効果的に捉えており、合成データにおける属性変化と正の相関を示すことが図8で可視化されている。
• 抽象的知覚においては、AVAデータセットで「幸せ／悲しい」「怖い／穏やか」「美しい／醜い」などの属性について、一貫性があり意味のあるスコアを達成し、図9および図10に結果を可視化している。
• 微調整を施したバージョンであるCLIP-IQA+は、TID2013でSROCC 0.632およびPLCC 0.692を達成し、MUSIQ や HyperIQA といった学習ベース手法でさえも上回る。
• 反語的プロンプトペア戦略は、曖昧な言語的文脈においても、性能の安定性と人間の判断との相関性を顕著に向上させる。