[論文レビュー] Privacy-Preserving Human Activity Recognition from Extreme Low Resolution

Michael S. Ryoo, Brandon Rothrock+2 more|arXiv (Cornell University)|Apr 12, 2016

Advanced Image Processing Techniques被引用数 59

ひとこと要約

本稿では、プライバシーを保護する一方で、極めて低解像度（16x12）の動画から正確な人間の行動認識を可能にするため、逆スーパーレゾリューション（ISR）を提案する。高解像度のソースから多様な低解像度のトレーニング動画を生成する最適なサブピクセル変換を学習することで、ISRは分類器が最先端の性能を達成することを可能にする—16x12のJPL-Interactionデータで96.4％の正確性に到達—、プライバシー保護型ビジョンが認識精度を犠牲にすることなく実現可能であることを示している。

ABSTRACT

Privacy protection from surreptitious video recordings is an important societal challenge. We desire a computer vision system (e.g., a robot) that can recognize human activities and assist our daily life, yet ensure that it is not recording video that may invade our privacy. This paper presents a fundamental approach to address such contradicting objectives: human activity recognition while only using extreme low-resolution (e.g., 16x12) anonymized videos. We introduce the paradigm of inverse super resolution (ISR), the concept of learning the optimal set of image transformations to generate multiple low-resolution (LR) training videos from a single video. Our ISR learns different types of sub-pixel transformations optimized for the activity classification, allowing the classifier to best take advantage of existing high-resolution videos (e.g., YouTube videos) by creating multiple LR training videos tailored for the problem. We experimentally confirm that the paradigm of inverse super resolution is able to benefit activity recognition from extreme low-resolution videos.

研究の動機と目的

• 行動認識に必要な詳細な動画理解と、高解像度記録によるプライバシー保護の間にある矛盾を解消すること。
• 極めて低解像度（例：16x12）の動画のみをキャプチャする、ハードウェアレベルのプライバシー保護型ビジョンシステムを開発すること。
• サブピクセル解像度の視点変化に起因する低解像度動画認識における意思決定境界の不安定性を克服すること。
• 収集後の高解像度トレーニングデータに依存せずに、匿名化された低解像度動画データのみを用いて信頼性の高い行動認識を可能にすること。
• 16x12の動画から顔の回復が不可能であることを実証することで、このようなシステムにおけるプライバシー保護の真の有効性を検証すること。

提案手法

• 単一の高解像度動画から複数の情報豊富な低解像度トレーニング動画を生成できる、逆スーパーレゾリューション（ISR）を導入。
• 行動分類に最適化されたサブピクセル変換を最適化し、生成されたLR動画が判別性の高い動きや外観特徴を保持することを保証。
• YouTubeからの高解像度動画（例：）をソースデータとして用い、実世界の低解像度テスト条件を模倣する多様なLRトレーニングサンプルを合成。
• 学習された変換を用いたデータ拡張により、視点の変化をシミュレートし、低解像度特徴空間における意思決定境界の安定化を図る。
• エンド・トゥ・エンドで訓練可能なディープラーニングフレームワークを採用し、下流の分類器の性能を最大化するLR動画の生成を可能にするISRネットワークの訓練。
• ISRを従来の特徴抽出器（例：HOG、HOF）および分類器と組み合わせ、極めて低い解像度制約下での標準データセットにおける性能を評価。

実験結果

リサーチクエスチョン

• RQ1 極めて低解像度（16x12）の動画のみを用いて、プライバシーを保護した上で信頼性の高い人間の行動認識が可能か？
• RQ2 サブピクセル解像度の視点シフトに起因する低解像度特徴の内在的不安定性は、知的なデータ拡張によって緩和可能か？
• RQ3 高解像度のソース動画から、高品質で多様な低解像度トレーニングデータを生成可能か？その場合、分類器は実際の低解像度テストデータに十分に一般化可能か？
• RQ4 このようなシステムにおけるプライバシー保護の程度はどの程度か？特に、16x12の動画から顔認識が可能かどうか。
• RQ5 ベースライン手法がより高い解像度を必要としている場合でも、16x12の動画のみを用いて最先端の認識性能を達成可能か？

主な発見

• 提案されたISR手法は、16x12のJPL-Interactionデータセットで96.4％の正確性を達成し、以前の手法（320x240解像度）を上回った。
• 16x12の動画では人間の図像が数ピクセルにまで縮小されていながらも、標準のHOF/HOG（20.0％）およびActionBank（26.9％）分類器よりも優れた性能を達成した。
• 16x12のJPL-Interactionデータで、PoT特徴のみを用いた場合の正確性は74.5％であったが、ISRを組み合わせることで96.4％に向上し、提案されたデータ生成戦略の有効性を示した。
• 16x12の動画からの顔の回復は不可能であることが判明した：最先端のディープラーニングベースの強化手法を用いても、意味のある顔の詳細は回復せず、5x7の顔画像における顔認識の正確性は50％未満であると予想された。
• ユーザースタディおよび視覚的分析により、16x12の動画は顕著に匿名化されており、プライバシーへの懸念が著しく低減され、再構築攻撃に対して耐性があることが確認された。