[論文レビュー] Convolutional Neural Networks for Video Quality Assessment

Michalis Giannopoulos, Grigorios Tsagkatakis+6 more|arXiv (Cornell University)|Sep 26, 2018

Image and Video Quality Assessment参考文献 26被引用数 7

ひとこと要約

本稿では、HEVC圧縮およびネットワーク遅延の影響を受ける主観的動画品質を予測するため、3次元および1次元畳み込みニューラルネットワークを用いたディープラーニングフレームワークを提案する。ユーザーがアノテートしたカスタムデータセットを用いてトレーニングすることで、モデルは高い精度で動画品質を分類可能であり、多数決によるパッチ集約戦略を用いることで66.7%のシーケンス単位の精度を達成し、複雑で現実的状況下でも優れた一般化性能を示している。

ABSTRACT

Video Quality Assessment (VQA) is a very challenging task due to its highly subjective nature. Moreover, many factors influence VQA. Compression of video content, while necessary for minimising transmission and storage requirements, introduces distortions which can have detrimental effects on the perceived quality. Especially when dealing with modern video coding standards, it is extremely difficult to model the effects of compression due to the unpredictability of encoding on different content types. Moreover, transmission also introduces delays and other distortion types which affect the perceived quality. Therefore, it would be highly beneficial to accurately predict the perceived quality of video to be distributed over modern content distribution platforms, so that specific actions could be undertaken to maximise the Quality of Experience (QoE) of the users. Traditional VQA techniques based on feature extraction and modelling may not be sufficiently accurate. In this paper, a novel Deep Learning (DL) framework is introduced for effectively predicting VQA of video content delivery mechanisms based on end-to-end feature learning. The proposed framework is based on Convolutional Neural Networks, taking into account compression distortion as well as transmission delays. Training and evaluation of the proposed framework are performed on a user annotated VQA dataset specifically created to undertake this work. The experiments show that the proposed methods can lead to high accuracy of the quality estimation, showcasing the potential of using DL in complex VQA scenarios.

研究の動機と目的

• HEVC圧縮およびネットワーク由来の遅延を伴う現実世界の条件下で、主観的動画品質を予測する課題に対処すること。
• 高価で時間がかかる主観的テストに依存しない、客観的で自動化された動画品質評価（VQA）手法の開発。
• 多様で予測不能な圧縮および伝送条件下での動画品質分類におけるディープラーニングモデルの性能を評価すること。
• 困難なユーザー生成コンテンツにおける頑健性および一般化性能を高めるためのモデルアーキテクチャとトレーニング戦略の最適化。
• エンドツーエンドの動画品質予測における分類精度を向上させるために、異なるラベル離散化戦略および集約手法を比較すること。

提案手法

• フレームワークは2段階のCNNアーキテクチャを採用：動画クリップからの空間的・時間的特徴抽出のための3次元CNN、その後にシーケンスレベル分類のための1次元CNN。
• 2つのパッチ集約戦略が評価された：空間的パッチ間の多数決による集約と、1次元CNNを用いたエンドツーエンド事前学習済みシーケンス分類。
• 連続的な平均意見スコア（MOS）は、それぞれ1.33、0.5、0.25、0.125の区間サイズを用いて、3、5、8、14のクラスに離散化された。
• モデルは、HEVCエンコードおよびさまざまなネットワーク条件を受けるユーザー生成動画コンテンツのカスタムデータセット上でトレーニングおよび評価された。
• 2層の3次元CNN（128および256フィルタ）を用い、その後に3層の1次元CNN（64、128、256フィルタ）を用いてシーケンス単位の分類を実施。
• 性能差の有意性を検証するために、統計的仮説検定が用いられた。

実験結果

リサーチクエスチョン

• RQ1 動画コンテンツがHEVC圧縮およびネットワーク遅延によって歪められる状況下でも、ディープラーニングベースのアプローチが主観的動画品質を効果的に予測できるか？
• RQ2 異なるパッチ集約戦略（多数決 vs. 事前学習済みシーケンス分類）は、動画品質分類の精度にどのように影響するか？
• RQ3 ラベルの細分化の程度が異なる場合に、最適な離散的品質クラスの数は何か？
• RQ4 ラベル離散化の間隔が、さまざまな品質レベルにおける分類性能にどのように影響するか？
• RQ5 提案されたフレームワークは、多様なエンコードおよび伝送条件下での困難な現実世界のユーザー生成コンテンツに対し、良好に一般化できるか？

主な発見

• 多数決によるパッチ集約戦略は、同じ条件下で66.7%のシーケンス単位の分類精度を達成し、事前学習済みモデル戦略を上回った。
• 3つの離散的品質クラス（間隔サイズ1.33）を用いたモデルが、5、8、14クラスのモデルを上回る最高の全体精度を達成した。
• 5クラスを使用した場合、事前学習済みモデル戦略は多数決戦略を上回る性能を示し、細分化の粒度とモデルの安定性の間のトレードオフが確認された。
• より小さい離散化間隔（例：0.125）を使用した場合、分類精度が著しく低下し、細粒度分類の複雑さが増していることが確認された。
• モデルは強力な一般化能力を示し、多様なユーザー生成動画コンテンツおよびネットワーク条件下でも一貫した性能を発揮した。
• 統計的仮説検定により、戦略間の性能差が有意であることが確認され、多数決アプローチが最適であるという選択の妥当性が裏付けられた。