[論文レビュー] DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition

Zheng Shou, Xudong Lin+5 more|arXiv (Cornell University)|Jan 11, 2019

Human Pose and Action Recognition参考文献 59被引用数 10

ひとこと要約

DMC-Net は、圧縮動画からの低分解能でノイズの多い動きベクトルを精錬することで、光流に非常に近い判別性の高い動き手がかり（DMC）を生成する軽量な生成ネットワークを提案する。エンド・ツー・エンドで光流再構成損失および行動認識損失を用いて訓練することで、DMC-Net は光流に近い精度を達成しながら、光流ベースの手法と比較して100倍以上高速に動作し、推論時に圧縮ドメイン内でのみ処理を行う。

ABSTRACT

Motion has shown to be useful for video understanding, where motion is typically represented by optical flow. However, computing flow from video frames is very time-consuming. Recent works directly leverage the motion vectors and residuals readily available in the compressed video to represent motion at no cost. While this avoids flow computation, it also hurts accuracy since the motion vector is noisy and has substantially reduced resolution, which makes it a less discriminative motion representation. To remedy these issues, we propose a lightweight generator network, which reduces noises in motion vectors and captures fine motion details, achieving a more Discriminative Motion Cue (DMC) representation. Since optical flow is a more accurate motion representation, we train the DMC generator to approximate flow using a reconstruction loss and a generative adversarial loss, jointly with the downstream action classification task. Extensive evaluations on three action recognition benchmarks (HMDB-51, UCF-101, and a subset of Kinetics) confirm the effectiveness of our method. Our full system, consisting of the generator and the classifier, is coined as DMC-Net which obtains high accuracy close to that of using flow and runs two orders of magnitude faster than using optical flow at inference time.

研究の動機と目的

• 圧縮動画手法と光流ベースの行動認識との間の精度格差を埋めるために、動き表現の品質を向上させること。
• 圧縮動画の動きベクトルが有する低分解像とノイズの問題を、学習可能な精錬プロセスで克服すること。
• 推論時に光流計算を一切行わず、高精度な動画行動認識を実現しつつ、効率性を維持すること。
• 光流の監視と下流分類タスクの両方から同時に学習する生成器を設計し、判別性の高い動き手がかりを生成すること。
• トレーニング後は完全に圧縮ドメインで動作させることで、計算効率と認識精度のバランスを図ること。

提案手法

• スタックされた動きベクトルと残差を入力として受け取り、粗い動き表現を精錬する軽量な DMC 生成ネットワークを提案する。
• ピクセル単位の再構成損失を用いて真値の光流に一致させるとともに、敵対的損失を用いて光流分布に一致させる。
• 行動分類器とエンド・ツー・エンドで訓練することで、分類に判別性の高い動き手がかりを学習できるようにする。
• ブロックノイズを低減するために、入力前に双線形補間を用いて動きベクトルを平滑化し、DMC の品質を向上させる。
• DMC 生成を2段階（誤差補正とアップサンプリング）に分解するアブレーションを実施したが、1段階の訓練がより効果的であることが判明した。
• 推論時に圧縮ドメイン内でのみ処理を行い、動画復号や光流計算を一切行わない。

実験結果

リサーチクエスチョン

• RQ1 学習可能な生成器は、圧縮動画の動きベクトルの判別性を向上させ、行動認識において光流に匹敵する性能を達成できるか？
• RQ2 光流再構成と分類の両方の監視を組み合わせたエンド・ツー・エンド訓練は、分離された訓練に比べて動き手がかりの品質を向上させるか？
• RQ3 誤差補正とアップサンプリングの2段階分解よりも、1段階の生成器が DMC 生成において優れた性能を示すか？
• RQ4 入力前に双線形補間で動きベクトルを平滑化することで、DMC の品質と認識精度が向上するか？
• RQ5 圧縮ドメインで動作するモデルは、光流ベースのモデルにどれほど近い精度を達成できるか、かつ著しく高速であるか？

主な発見

• HMDB-51 では 61.5% の精度を達成し、CoViAR + TV-L1 Flow と同等の性能を示したが、光流ベースの手法と比較して2桁以上高速に動作した。
• Kinetics-n50 では 65.42% の精度を達成し、CoViAR + TV-L1 Flow（65.43%）に非常に近い性能を示し、光流を用いない CoViAR（65.37%）を上回った。
• アブレーションスタディの結果、エンド・ツー・エンド訓練が不可欠であることが判明し、これを削除すると HMDB-51 での精度が 59.3% に低下した。
• 2段階の DMC 生成は性能向上をもたらさず、精度は 60.6% に低下した。これは、1段階の精錬がより効果的であることを示している。
• 入力前に動きベクトルを双線形補間すると 61.4% の精度が得られ、主な手法（61.5%）をわずかに下回るが、依然として有効であるため、ブロックノイズのある MV を直接使用することの妥当性が裏付けられた。
• DMC 生成器の推論コストは 0.23 GFLOPs および 1 フレームあたり 0.106 ms にとどまり、光流計算に比べて無視できるほど低い。