[논문 리뷰] AQuA: Analytical Quality Assessment for Optimizing Video Analytics Systems

Sibendu Paul, Utsav Drolia외 2명|arXiv (Cornell University)|2021. 01. 24.

Image Enhancement Techniques참고 문헌 63인용 수 4

한 줄 요약

AQuA는 엣지에서 저품질 프레임을 조기에 필터링하여 딥러닝 분석 정확도를 보호하기 위해 영상 프레임 왜곡을 평가하는 분석적 품질 평가 프레임워크를 도입한다. 경량 CNN 기반의 특징 추출기와 새로운 '분류기 의견 점수' 메트릭을 사용하여 AQuA는 고신뢰도 오류를 17% 감소시키고, 계산 및 대역폭 사용량을 25% 줄이며, 오직 14ms의 오버헤드만을 유발한다.

ABSTRACT

Millions of cameras at edge are being deployed to power a variety of different deep learning applications. However, the frames captured by these cameras are not always pristine - they can be distorted due to lighting issues, sensor noise, compression etc. Such distortions not only deteriorate visual quality, they impact the accuracy of deep learning applications that process such video streams. In this work, we introduce AQuA, to protect application accuracy against such distorted frames by scoring the level of distortion in the frames. It takes into account the analytical quality of frames, not the visual quality, by learning a novel metric, classifier opinion score, and uses a lightweight, CNN-based, object-independent feature extractor. AQuA accurately scores distortion levels of frames and generalizes to multiple different deep learning applications. When used for filtering poor quality frames at edge, it reduces high-confidence errors for analytics applications by 17%. Through filtering, and due to its low overhead (14ms), AQuA can also reduce computation time and average bandwidth usage by 25%.

연구 동기 및 목표

• 카메라 하드웨어 및 전송으로 인한 자연스러운 왜곡으로 인해 발생하는 영상 분석 오류 증가 문제를 해결하기 위해.
• 저품질 입력 프레임으로 인한 딥러닝 모델의 고신뢰도 오분류를 줄이기 위해.
• 엣지 기반 영상 분석 파이프라인에서 부적절한 계산 및 대역폭 사용을 최소화하기 위해.
• 하류 분석 모델에 도달하기 전에 저품질 프레임을 조기에 탐지하고 필터링할 수 있도록 하기 위해.
• 모델 재학습이 필요 없이 다양한 영상 분석 응용 분야에 일반화할 수 있도록 하기 위해.

제안 방법

• AQuA는 영상 프레임 수준의 왜곡을 분석하기 위해 경량이며 객체에 의존하지 않는 특징 추출기로 잘라낸 Inception-v3 네트워크를 사용한다.
• 인간의 시각적 품질 평가를 대체하기 위해 모델의 신뢰도를 반영하는 새로운 '분류기 의견 점수' 메트릭을 도입한다.
• 특징과 분류기 의견 점수를 바탕으로 왜곡 수준을 예측하기 위해 회귀 모델을 훈련한다.
• AQuA는 분석 모델이 처리하기 전에 프레임을 필터링하기 위해 엣지에 배포되어 하류 자원 소비를 줄인다.
• 객체 특징이 아닌 왜곡 영향에 초점을 맞추어 다양한 딥러닝 응용 분야에 일반화된다.
• 실시간 영상 분석 워크로드에서 저지연(14ms)과 고확장성을 고려해 설계되었다.

실험 결과

연구 질문

• RQ1 프레임 수준의 품질 평가 시스템은 자연스러운 왜곡으로 인한 영상 분석 응용 분야의 고신뢰도 오류를 줄일 수 있는가?
• RQ2 인간의 의견 점수에 의존하지 않고도 경량의 CNN 기반 모델이 왜곡 수준을 효과적으로 예측할 수 있는가?
• RQ3 AQuA는 재학습 없이 다양한 영상 분석 응용 분야에 얼마나 잘 일반화되는가?
• RQ4 엣지 영상 파이프라인에서 조기에 프레임을 필터링하는 것이 계산 및 대역폭 사용에 어떤 영향을 미치는가?
• RQ5 AQuA는 품질 저하를 유도하는 카메라 설정 오류를 탐지하고 예측할 수 있는가?

주요 결과

• AQuA는 저품질 프레임을 조기에 필터링하여 영상 분석 응용 분야의 고신뢰도 오류를 17% 감소시킨다.
• AQuA는 저품질 프레임 처리를 제거함으로써 평균 계산 시간과 대역폭 사용량을 25% 줄인다.
• AQuA는 14ms의 추론 지연을 달성하여 실시간 엣지 배포에 적합하다.
• 분류기 의견 점수 메트릭은 전통적인 IQA 메트릭보다 애플리케이션 신뢰도와 더 강한 상관관계를 보인다.
• AQuA는 모델 미세조정이나 재학습 없이도 다양한 영상 분석 응용 분야에 일반화된다.
• AQuA는 애플리케이션 수준의 정확도 저하를 예측하는 데 있어 최신의 IQA 방법들을 능가한다.