[논문 리뷰] Surveillance Facial Image Quality Assessment: A Multi-dimensional Dataset and Lightweight Model

Yanwei Jiang, Wei Sun외 9명|arXiv (Cornell University)|2026. 02. 07.

Image and Video Quality Assessment인용 수 0

한 줄 요약

SFIQA-Bench, 다차원 감시 얼굴 이미지 품질 벤치마크 및 SFIQA-Assessor, 여섯 차원에 걸친 지각 품질과 충실도를 함께 평가하는 가벼운 멀티태스크 모델을 도입한다. 이 접근법은 실시간 효율성과 함께 감시 데이터에서 최첨단 FIQA/IQA 방법을 능가한다.

ABSTRACT

Surveillance facial images are often captured under unconstrained conditions, resulting in severe quality degradation due to factors such as low resolution, motion blur, occlusion, and poor lighting. Although recent face restoration techniques applied to surveillance cameras can significantly enhance visual quality, they often compromise fidelity (i.e., identity-preserving features), which directly conflicts with the primary objective of surveillance images -- reliable identity verification. Existing facial image quality assessment (FIQA) predominantly focus on either visual quality or recognition-oriented evaluation, thereby failing to jointly address visual quality and fidelity, which are critical for surveillance applications. To bridge this gap, we propose the first comprehensive study on surveillance facial image quality assessment (SFIQA), targeting the unique challenges inherent to surveillance scenarios. Specifically, we first construct SFIQA-Bench, a multi-dimensional quality assessment benchmark for surveillance facial images, which consists of 5,004 surveillance facial images captured by three widely deployed surveillance cameras in real-world scenarios. A subjective experiment is conducted to collect six dimensional quality ratings, including noise, sharpness, colorfulness, contrast, fidelity and overall quality, covering the key aspects of SFIQA. Furthermore, we propose SFIQA-Assessor, a lightweight multi-task FIQA model that jointly exploits complementary facial views through cross-view feature interaction, and employs learnable task tokens to guide the unified regression of multiple quality dimensions. The experiment results on the proposed dataset show that our method achieves the best performance compared with the state-of-the-art general image quality assessment (IQA) and FIQA methods, validating its effectiveness for real-world surveillance applications.

연구 동기 및 목표

• 감시 영상에서 지각 품질과 얼굴 충실도를 함께 평가하는 데 따른 도전 과제를 정의한다.
• 실세계 감시 이미지와 여섯 가지 품질 차원을 갖춘 다차원 벤치마크인 SFIQA-Bench를 만든다.
• 멀티 뷰 얼굴 입력과 교차 뷰 어텐션을 사용한 멀티태스크 품질 회귀를 위한 경량 모델인 SFIQA-Assessor를 제안한다.
• SFIQA-Assessor가 실시간 효율성과 함께 여섯 가지 품질 차원 모두에서 최첨단 성능을 달성함을 보인다.

제안 방법

• 3대 카메라 모델에서 촬영된 내부, 외부 및 ITS 차량 시나리오의 5,004개의 감시 얼굴 이미지로 SFIQA-Bench를 구성한다.
• 소음, 선명도, 다채도, 대비, 충실도, 및 전반적 품질의 여섯 차원에 대해 100명의 참여자로부터 주관적 평가를 수집한다.
• 세 가지 얼굴 뷰(원본, 얼굴, 눈-입)가 입력으로 사용되는 경량 멀티태스크 FIQA 모델인 SFIQA-Assessor를 개발한다.
• 얼굴 인식 품질 특징 인코더를 사용해 다중 스케일 특징을 추출하고 뷰 간 교차 어텐션 모듈로 뷰를 융합한다.
• 태스크 인식 디코더를 태스크 자기 주의와 교차 주의로 구현하고 여섯 품질 점수에 대한 별도 회귀 헤드를 따른다.
• 얼굴 탐지기와 얼굴 파싱으로 입력을 전처리하여 세 가지 뷰를 생성하고 얼굴 영역에 집중된 품질 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 감시 영상에서 지각 품질과 얼굴 충실도를 어떻게 함께 평가할 수 있는가?
• RQ2 멀티뷰 경량 모델이 실시간으로 여러 품질 차원을 정확하게 예측할 수 있는가?
• RQ3 각 품질 요소(노이즈, 선명도, 다채로움, 대비, 충실도)가 SFI의 전반적 지각 품질에 대해 상대적으로 얼마나 중요한가?
• RQ4 환경 조건(주간/야간, 실내/실외, 차량/보행자)이 감시 데이터의 다차원 품질 판단에 영향을 미치는가?

주요 결과

• SFIQA-Bench는 세 가지 감시 시나리오에 걸친 5,004장의 이미지로 SFI의 여섯 가지 인간 품질 차원을 제공한다.
• MOS 분석은 선명도와 충실도가 전반적 품질에 지배적인 기여를 하며, 낮 시간대의 씬이 일반적으로 야간보다 더 높은 평가를 받는다는 것을 보여준다.
• 제안된 SFIQA-Assessor는 여섯 차원 모두에서 최첨단 일반 IQA/FIQA 방법보다 우수한 성능을 보이고 낮은 계산 비용을 유지한다.
• 회귀 모델은 충실도, 선명도, 대비가 전반적 품질과 밀접하게 일치함을 나타내어 다차원 평가 접근을 뒷받침한다.
• 교차 뷰 융합과 태스크 인식 디코딩은 세 가지 얼굴 뷰로부터 효과적인 멀티태스크 품질 예측을 가능하게 한다.