[論文レビュー] Surveillance Facial Image Quality Assessment: A Multi-dimensional Dataset and Lightweight Model

Yanwei Jiang, Wei Sun+9 more|arXiv (Cornell University)|Feb 7, 2026

Image and Video Quality Assessment被引用数 0

ひとこと要約

SFIQA-Benchを提案する。監視用顔画像品質の多次元ベンチマークと、6つの次元にわたる感知品質と忠実度を同時推定する軽量なマルチタスクモデル SFIQA-Assessor。実環境の監視データ上で最新のFIQA/IQA手法をリアルタイム性能で上回る。

ABSTRACT

Surveillance facial images are often captured under unconstrained conditions, resulting in severe quality degradation due to factors such as low resolution, motion blur, occlusion, and poor lighting. Although recent face restoration techniques applied to surveillance cameras can significantly enhance visual quality, they often compromise fidelity (i.e., identity-preserving features), which directly conflicts with the primary objective of surveillance images -- reliable identity verification. Existing facial image quality assessment (FIQA) predominantly focus on either visual quality or recognition-oriented evaluation, thereby failing to jointly address visual quality and fidelity, which are critical for surveillance applications. To bridge this gap, we propose the first comprehensive study on surveillance facial image quality assessment (SFIQA), targeting the unique challenges inherent to surveillance scenarios. Specifically, we first construct SFIQA-Bench, a multi-dimensional quality assessment benchmark for surveillance facial images, which consists of 5,004 surveillance facial images captured by three widely deployed surveillance cameras in real-world scenarios. A subjective experiment is conducted to collect six dimensional quality ratings, including noise, sharpness, colorfulness, contrast, fidelity and overall quality, covering the key aspects of SFIQA. Furthermore, we propose SFIQA-Assessor, a lightweight multi-task FIQA model that jointly exploits complementary facial views through cross-view feature interaction, and employs learnable task tokens to guide the unified regression of multiple quality dimensions. The experiment results on the proposed dataset show that our method achieves the best performance compared with the state-of-the-art general image quality assessment (IQA) and FIQA methods, validating its effectiveness for real-world surveillance applications.

研究の動機と目的

• 監視映像における知覚品質と顔の忠実度の両方を評価する際の課題を定義する。
• SFIQA-Benchを現実世界の監視画像と六つの品質次元を備えた多次元ベンチマークとして作成する。
• SFIQA-Assessorを、マルチビューの顔入力とクロスビュー注意機構を用いた軽量なマルチタスク品質回帰モデルとして提案する。
• SFIQA-Assessorが六つの品質次元すべてで最先端の性能とリアルタイム効率を達成することを示す。

提案手法

• indoor, outdoor, ITS車両シナリオで3つのカメラモデルから得られた5,004枚の監視顔画像でSFIQA-Benchを構築する。
• 6つの次元（ノイズ、シャープネス、カラー性、コントラスト、忠実度、総合品質）에対して100名の参加者から主観評価を収集する。
• 元画像・顔・目と口の3ビューを入力として用いる、軽量なマルチタスクFIQAモデルとしてSFIQA-Assessorを開発する。
• 顔認識機能を用いた品質特徴エンコーダでマルチスケール特徴を抽出し、クロスビュー注意モジュールでビューを融合する。
• タスク認識デコーダを導入し、タスク自己注意とクロス注意を用いて、6つの品質スコアそれぞれに対する回帰ヘッドを分離する。
• 顔検出器と顔パーシングを用いた前処理で3ビューを生成し、顔領域に焦点を当てた品質評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 監視画像において知覚品質と顔の忠実度をどのように共同で評価するか。
• RQ2 マルチビューの軽量モデルでリアルタイムに複数の品質次元を正確に予測できるか。
• RQ3 SFIsにおける各品質要因（ノイズ、シャープネス、カラー性、コントラスト、忠実度）の総合知覚品質への相対的重要性はどれくらいか。
• RQ4 環境条件（日中/夜間、屋内/屋外、車両/歩行者）によって監視データの多次元品質判断に影響はあるか。

主な発見

• SFIQA-Benchは、3つの監視シナリオにまたがる5,004枚の画像でSFIsの六つの人間品質次元を提供する。
• MOS分析により、シャープネスと忠実度が総合品質の主要な寄与因子であり、日中のシーンは一般に夜間より評価が高いことが示される。
• 提案手法のSFIQA-Assessorは、六つの次元全てにおいて最新の一般的なIQA/FIQA手法を上回りつつ、計算コストを低く保つ。
• 回帰モデルは忠実度、シャープネス、コントラストが総合品質と密接に一致することを示し、多次元評価アプローチを支持する。
• クロスビュー融合とタスク認識デコーダにより、3つの顔ビューから効果的なマルチタスク品質予測を実現する。