[論文レビュー] Extreme Low Resolution Activity Recognition with Multi-Siamese Embedding Learning

Michael S. Ryoo, Kiyoon Kim+1 more|arXiv (Cornell University)|Aug 3, 2017

Anomaly Detection Techniques and Applications被引用数 22

ひとこと要約

本稿では、極めて低解像度（16x12）の動画における人間の行動認識のため、2ストリームのマルチシアンセスCNNを提案する。この手法は、同じ高解像度動画の異なる低解像度変換下での表現を統一するため、変換に頑健な動画埋め込みを明示的にモデル化する。本手法は最先端の性能を達成し、16x12のHMDBデータセットにおいて37.70%の精度を達成し、従来手法を8%以上上回った。

ABSTRACT

This paper presents an approach for recognizing human activities from extreme low resolution (e.g., 16x12) videos. Extreme low resolution recognition is not only necessary for analyzing actions at a distance but also is crucial for enabling privacy-preserving recognition of human activities. We design a new two-stream multi-Siamese convolutional neural network. The idea is to explicitly capture the inherent property of low resolution (LR) videos that two images originated from the exact same scene often have totally different pixel values depending on their LR transformations. Our approach learns the shared embedding space that maps LR videos with the same content to the same location regardless of their transformations. We experimentally confirm that our approach of jointly learning such transform robust LR video representation and the classifier outperforms the previous state-of-the-art low resolution recognition approaches on two public standard datasets by a meaningful margin.

研究の動機と目的

• 極めて低解像度の動画（例：16x12）において、サブピクセル変換下で画素値が著しく変化する状況での人間の行動認識の課題に対処すること。
• 顔の識別を不可能にする匿名化された低解像度動画データを用いることで、プライバシー保護型の行動認識を実現すること。
• 従来手法が低解像度変換された動画を独立したサンプルとして扱うため、一般化性能が低いという限界を克服すること。
• 低解像度変換（例：平行移動、回転、スケーリング）に対して不変であるように、頑健な動画表現と分類器を同時に学習すること。
• HMDB や DogCentric といった標準ベンチマークにおいて、極めて低解像度設定下で優れた性能を示すこと。

提案手法

• 同じ高解像度ソースから得られる複数の低解像度動画クリップのための共有埋め込み空間を学習する2ストリームのマルチシアンセス畳み込みニューラルネットワークを設計する。
• シアンセスアーキテクチャを用いて、同じコンテンツの異なる低解像度変換下での特徴埋め込みが、埋め込み空間内で近接するように制約を課す。
• トレーニング時に、サブピクセル移動などの異なる低解像度変換を用いたデータオーグメンテーションを適用し、実世界の低解像度変動を模擬する。
• 同じコンテンツの低解像度クリップに対して同一の埋め込みを促進するため、対照的損失を用いて動画表現と分類器を同時に最適化する。
• 2ストリーム構成において、効率的なエッジデバイスでのリアルタイム推論を実現するため、Farneback法を用いて光流を抽出する。
• 高解像度動画データセット（例：YouTube）で学習し、下流の認識タスク向けに低解像度バージョンでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、同じ高解像度ソースから得られる低解像度動画に対して、共有され、変換に頑健な埋め込み空間を学習できるか？
• RQ2 サブピクセル変換への不変性を明示的にモデル化することで、極めて低解像度設定下での認識精度が向上するか？
• RQ3 提案手法のマルチシアンセス埋め込み学習は、標準的なデータオーグメンテーションやベースラインCNNと比較して、低解像度行動認識においてどのように優れているか？
• RQ4 本手法は、HMDB や DogCentric といった多様なデータセットにおいて、極めて低解像度（16x12）下でも一般化できるか？
• RQ5 NVIDIA Jetson TX2 などのエッジハードウェア上で、本モデルのリアルタイム推論性能はどの程度か？

主な発見

• 提案手法は、16x12のHMDBデータセットで37.70%の精度を達成し、従来の最先端手法を8ポイント以上上回った。
• DogCentricデータセットでは69.43%の精度を達成し、ISR（67.36%） や PoT（64.6%）といった先行研究を著しく上回った。
• Hardcore Henryデータセットにおける二値イベント検出のF1スコアは0.885に向上し、ベースライン（0.838）とデータオーグメンテーション（0.871）を上回った。
• NVIDIA Jetson TX2 GPU上で約50fpsのリアルタイム動作を達成し、実用的な展開可能性を示した。
• 共有埋め込み学習を用いたマルチシアンセスアプローチは、標準的なデータオーグメンテーションと比較して、特定の低解像度変換への過学習を低減した。
• 光流と空間ピラミッドプーリングを組み合わせた2ストリームアーキテクチャは、人間の姿が小さい状況でも性能をさらに向上させた。