[論文レビュー] AQuA: Analytical Quality Assessment for Optimizing Video Analytics Systems

Sibendu Paul, Utsav Drolia+2 more|arXiv (Cornell University)|Jan 24, 2021

Image Enhancement Techniques参考文献 63被引用数 4

ひとこと要約

AQuA は、エッジで低品質なフレームを早期にフィルタリングすることで、深層学習分析の正確性を保つための分析的品質評価フレームワークを導入している。軽量な CNN ベースの特徴抽出器と、新しい「分類器意見スコア」メトリクスを用いることで、高信頼度誤分類を 17% 減少させ、計算リソースと帯域幅使用量を 25% 削減し、14ms のわずかなオーバーヘッドで実現した。

ABSTRACT

Millions of cameras at edge are being deployed to power a variety of different deep learning applications. However, the frames captured by these cameras are not always pristine - they can be distorted due to lighting issues, sensor noise, compression etc. Such distortions not only deteriorate visual quality, they impact the accuracy of deep learning applications that process such video streams. In this work, we introduce AQuA, to protect application accuracy against such distorted frames by scoring the level of distortion in the frames. It takes into account the analytical quality of frames, not the visual quality, by learning a novel metric, classifier opinion score, and uses a lightweight, CNN-based, object-independent feature extractor. AQuA accurately scores distortion levels of frames and generalizes to multiple different deep learning applications. When used for filtering poor quality frames at edge, it reduces high-confidence errors for analytics applications by 17%. Through filtering, and due to its low overhead (14ms), AQuA can also reduce computation time and average bandwidth usage by 25%.

研究の動機と目的

• カメラのハードウェアや伝送による自然な歪みが原因で生じるビデオ分析エラーの増加という問題に対処すること。
• 低品質な入力フレームによる深層学習モデルの高信頼度誤分類を低減すること。
• エッジベースのビデオ分析パイプラインにおける無駄な計算と帯域幅使用量を最小限に抑えること。
• 下流の分析モデルに到達する前に、品質が低いフレームの早期検出とフィルタリングを可能にすること。
• モデルの微調整や再トレーニングを必要とせずに、複数のビデオ分析アプリケーションに一般化できること。

提案手法

• AQuA は、フレーム単位の歪みを分析するための軽量でオブジェクトに依存しない特徴抽出器として、切断された Inception-v3 ネットワークを用いる。
• 人間の知覚的品質評価に代わる、歪みのある入力に対するモデルの信頼度を反映する新しい「分類器意見スコア」メトリクスを導入する。
• 特徴量と分類器意見スコアに基づいて歪みレベルを予測する回帰モデルを訓練する。
• AQuA はエッジにデプロイされ、分析モデルが処理する前にフレームをフィルタリングすることで、下流のリソース消費を削減する。
• オブジェクト固有の特徴ではなく歪みの影響に焦点を当てることで、複数の深層学習アプリケーションに一般化する。
• リアルタイムのビデオ分析ワークロードにおいて、低遅延（14ms）かつ高スケーラビリティを実現するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 フレーム単位の品質評価システムは、自然な歪みによって引き起こされるビデオ分析アプリケーションの高信頼度誤りを低減できるか？
• RQ2 人間の意見スコアに依存せずに、軽量な CNN ベースのモデルが歪みレベルをどれほど正確に予測できるか？
• RQ3 AQuA は、微調整や再トレーニングを必要とせずに、多様なビデオ分析アプリケーションにどの程度一般化できるか？
• RQ4 エッジのビデオパイプラインにおいて、フレームの早期フィルタリングが計算リソースと帯域幅使用量に与える影響は何か？
• RQ5 AQuA は、品質低下を引き起こすカメラの誤設定を検出・予測できるか？

主な発見

• AQuA は、歪みのあるフレームを早期にフィルタリングすることで、ビデオ分析アプリケーションにおける高信頼度誤りを 17% 減少させた。
• AQuA は、低品質なフレームの処理を排除することで、平均的な計算時間と帯域幅使用量を 25% 削減した。
• AQuA は 14ms の推論遅延を達成しており、リアルタイムのエッジデプロイメントに適している。
• 分類器意見スコアメトリクスは、従来の IQA メトリクスよりもアプリケーションの信頼度とより強く相関していた。
• AQuA は、モデルのファインチューニングや再トレーニングを必要とせずに、複数のビデオ分析アプリケーションに一般化した。
• AQuA は、アプリケーションレベルの正確性低下を予測する点で、最先端の IQA 手法を上回った。