[논문 리뷰] FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling

Haoning Wu, Chaofeng Chen외 6명|arXiv (Cornell University)|2022. 07. 06.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 고해상도 영상에서 품질을 유지하는 조각들을 생성하기 위해 격자 미니패치 샘플링(GMS)을 사용하는 효율적인 엔드 투 엔드 영상 품질 평가 프레임워크인 FAST-VQA를 제안한다. 이를 통해 정확하고 저연산량의 추론이 가능해진다. 이러한 조각들을 처리하기 위해 조각 주의망(FANet)을 활용함으로써, FAST-VQA는 1080P 영상에서 최신 기술 대비 10% 높은 정확도와 99.5% 적은 FLOPs를 달 đạt한다.

ABSTRACT

Current deep video quality assessment (VQA) methods are usually with high computational costs when evaluating high-resolution videos. This cost hinders them from learning better video-quality-related representations via end-to-end training. Existing approaches typically consider naive sampling to reduce the computational cost, such as resizing and cropping. However, they obviously corrupt quality-related information in videos and are thus not optimal for learning good representations for VQA. Therefore, there is an eager need to design a new quality-retained sampling scheme for VQA. In this paper, we propose Grid Mini-patch Sampling (GMS), which allows consideration of local quality by sampling patches at their raw resolution and covers global quality with contextual relations via mini-patches sampled in uniform grids. These mini-patches are spliced and aligned temporally, named as fragments. We further build the Fragment Attention Network (FANet) specially designed to accommodate fragments as inputs. Consisting of fragments and FANet, the proposed FrAgment Sample Transformer for VQA (FAST-VQA) enables efficient end-to-end deep VQA and learns effective video-quality-related representations. It improves state-of-the-art accuracy by around 10% while reducing 99.5% FLOPs on 1080P high-resolution videos. The newly learned video-quality-related representations can also be transferred into smaller VQA datasets, boosting performance in these scenarios. Extensive experiments show that FAST-VQA has good performance on inputs of various resolutions while retaining high efficiency. We publish our code at https://github.com/timothyhtimothy/FAST-VQA.

연구 동기 및 목표

• 고해상도 영상에서 딥 뷰어 품질 평가(VQA)의 높은 계산 비용을 해결하여 엔드 투 엔드 훈련과 모델 정확도를 향상시키기 위해.
• 크기 조정이나 자르기와 같은 단순한 샘플링 방법의 한계를 극복하여 국소 텍스처와 전반적인 품질 관계를 왜곡하지 않기 위해.
• 향상된 VQA 표현 학습을 위해 국소(공간적) 및 시간적 품질 정보를 모두 유지하는 샘플링 기법을 설계하기 위해.
• 다양한 영상 해상도에서 높은 정확도를 유지하면서 FLOPs를 극적으로 줄이는 효율적인 엔드 투 엔드 딥 VQA 모델을 개발하기 위해.
• 학습된 표현을 더 작은 저해상도 VQA 데이터셋으로 이식하여 데이터가 적은 환경에서 성능을 향상시키기 위해.

제안 방법

• 영상에 균일한 공간 격자를 적용하고, 원본 해상도 그대로 각 격자에서 한 개의 미니패치를 샘플링하여 시간적으로 정렬된 조각들로 조립하는 격자 미니패치 샘플링(GMS) 기법을 제안한다.
• 프레임 간에 미니패치의 시간적 정렬을 확보하여 운동 흐림이나 카메라 흔들림과 같은 프레임 간 왜곡을 유지한다.
• 조각을 처리하고 품질 관련 특징을 추출하기 위해 특별히 설계된 트랜스포머 기반 아키텍처인 조각 주의망(FANet)을 도입한다.
• 패치 단위 독립 회귀를 위해 IP-NLR 헤드를 사용하여 국소 품질 맵을 생성함으로써 해석 가능성과 텍스처 수준의 왜곡에 대한 민감도를 향상시킨다.
• 전체 시스템을 조각을 입력으로 하여 엔드 투 엔드로 훈련함으로써 샘플링과 표현 학습의 공동 최적화를 가능하게 한다.
• 조각의 희소성과 구조적 특성을 활용하여 전체 해상도 기반 기준 대비 FLOPs를 99.5% 감소시키면서도 높은 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 크기 조정이나 자르기와 같은 단순한 방법보다, 샘플링 전략이 국소 텍스처와 프레임 간 왜곡을 더 잘 유지할 수 있는가?
• RQ2 조각 기반 샘플링이 고해상도 영상에서 정확도를 손상시키지 않고 딥 VQA 모델의 엔드 투 엔드 훈련을 얼마나 잘 가능하게 하는가?
• RQ3 제안된 조각 주의망(FANet)이 표준 영상 트랜스포머 대비 조각 입력에서 품질 관련 표현을 얼마나 효과적으로 학습하는가?
• RQ4 고해상도 조각에서 학습된 표현은 저해상도 또는 소규모 VQA 데이터셋으로 효과적으로 이식될 수 있는가?
• RQ5 조각을 사용한 단일 예측은 얼마나 안정적이고 신뢰할 수 있으며, 이는 최소한의 추론 오버헤드로 실용적인 구현을 가능하게 하는가?

주요 결과

• FAST-VQA는 1080P 영상에서 최신 기술인 PVQ 방법 대비 PLCC(0.806)에서 10% 향상된 성능을 달성하면서 FLOPs를 99.5% 감소시켰다.
• LSVQ_1080P 테스트 세트에서 단일 샘플링의 정규화된 표준편차는 단지 0.0079에 불과하여 높은 예측 안정성을 보였다.
• LSVQ_1080P 세트에서 단일 샘플링의 상대 정확도는 6개 샘플 앙상블 대비 99.40%로, 최소한의 계산으로도 신뢰할 수 있음을 입증했다.
• FAST-VQA는 LIVE-VQC의 모든 해상도 그룹(1080P, 720P, ≤540P 영상 포함)에서 강력한 성능(SRCC ≥ 0.80, PLCC ≥ 0.82)을 유지했다.
• 질적 분석을 통해 FAST-VQA는 흐린 텍스처를 효과적으로 탐지하고 액션 영역과 배경을 구분함으로써 국소 및 전반적인 품질에 민감한 것을 입증했다.
• 절단 분석 결과 FANet의 GRPB 모듈이 성능 향상에 크게 기여하며, 이 모듈이 포함된 전체 FAST-VQA 모델이 모든 벤치마크에서 변형보다 뛰어난 성능을 보였다.