[論文レビュー] Robust Emotion Recognition from Low Quality and Low Bit Rate Video: A Deep Learning Approach

Bowen Cheng, Zhangyang Wang+6 more|arXiv (Cornell University)|Sep 10, 2017

Advanced Image Processing Techniques参考文献 34被引用数 6

ひとこと要約

本論文では、低ビットレート・低品質な動画から同時に超解像（SR）と感情認識を実行する深層学習フレームワークを提案する。最大のダウンサンプリング要因（s=16）を用いた新しい「max-mix」トレーニング戦略を採用することで、さまざまなダウンサンプリング要因に強い1つの「ワン・フォー・オール」モデルを構築した。この手法は、分離されたSRと認識パイプラインをはるかに上回り、AVEC 2016ベンチマークにおいて優れた認識精度とレート・リソース効率を達成した。

ABSTRACT

Emotion recognition from facial expressions is tremendously useful, especially when coupled with smart devices and wireless multimedia applications. However, the inadequate network bandwidth often limits the spatial resolution of the transmitted video, which will heavily degrade the recognition reliability. We develop a novel framework to achieve robust emotion recognition from low bit rate video. While video frames are downsampled at the encoder side, the decoder is embedded with a deep network model for joint super-resolution (SR) and recognition. Notably, we propose a novel max-mix training strategy, leading to a single "One-for-All" model that is remarkably robust to a vast range of downsampling factors. That makes our framework well adapted for the varied bandwidths in real transmission scenarios, without hampering scalability or efficiency. The proposed framework is evaluated on the AVEC 2016 benchmark, and demonstrates significantly improved stand-alone recognition performance, as well as rate-distortion (R-D) performance, than either directly recognizing from LR frames, or separating SR and recognition.

研究の動機と目的

• 帯域制約のある動画伝送において、空間的解像度が低下することで感情認識性能が劣化するという課題に対処すること。
• 複数の動画品質レベルにわたり、同時に超解像と感情認識を実行する統合型の深層学習モデルを開発すること。
• 通常は認識精度を最適化できない、分離されたSRと認識パイプラインの限界を克服すること。
• ネットワーク帯域が動的に変化する実世界の無線マルチメディアアプリケーションにおけるスケーラビリティと効率性を向上させること。
• 量子化や可変ビットレートを含む、現実的な圧縮条件下でのモデル性能を評価すること。

提案手法

• 深層畳み込みニューラルネットワーク（SR-FCN）をエンド・トゥ・エンドで訓練することで、超解像と感情認識の共同最適化を実現する。
• 新規の「max-mix」トレーニング戦略を導入し、最大のダウンサンプリング要因（s=16）を持つダウンサンプリングフレームの混合データでモデルを学習させることで、すべての低い要因に対しても耐性を付与した。
• 一般化性能を向上させ、スケール不変特徴を学習するために、複数のダウンサンプリング要因の混合データを用いたファインチューニングを実施した。
• フレームワークは、感情認識の主タスクとしてのValence回帰を用いて、AVEC 2016データセットで評価された。
• さまざまな動画コーディング条件（異なる量子化パラメータ）下で、ジョイントモデルの性能を評価し、レート・リソース性能を分析した。
• 分離されたSRと認識パイプラインを避けるべく、両タスクを1つの最適化された推論パスに統合した。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを必要とせずに、さまざまな動画ダウンサンプリング要因にわたって頑健な感情認識を達成できる単一の深層学習モデルは構築可能か？
• RQ2 超解像と認識の共同最適化は、2段階パイプラインと比較して、認識精度およびレート・リソース効率において優れているか？
• RQ3 提案された「max-mix」トレーニング戦略は、さまざまな動画品質および解像度に耐性を持たせ、モデルの一般化性能を向上させるか？
• RQ4 動画圧縮に起因する歪み下でも、ジョイントSR-認識フレームワークは認識性能をどの程度維持できるか？
• RQ5 アクティブなダウンサンプリングと効率的なコーディングにより、帯域使用量を最小限に抑えながら高い認識精度を達成できるか？

主な発見

• 提案された「ワン・フォー・オール」モデルは、低解像度フレームからの直接認識や、分離されたSRと認識パイプラインと比較して、相関係数（CC）および一致相関係数（CCC）が顕著に高い結果を示した。
• s=8までのダウンサンプリング要因において、ジョイントモデルは顕著な性能向上を示し、全テスト要因でCCおよびCCCの向上が確認された。
• 高量子化（例：QP=32）下でも、モデルは強い認識性能を維持しており、ビットレート0.24 bpp（s=3）および0.4 bpp（s=4）では性能低下がほとんど見られなかった。
• max-mixトレーニング戦略により、各要因ごとの再トレーニングを必要とせずに、広範なダウンサンプリング要因にわたる一般化が可能となった。
• レート・リソース分析から、特に低ビットレート下で、帯域効率と認識精度の良好なトレードオフを達成していることが示された。
• ジョイントSRおよび認識フレームワークは、単体認識および2段階パイプラインの両方を上回り、認識精度および圧縮アーチファクトへの耐性の両面で優れた性能を発揮した。