[論文レビュー] Cardea: Context-Aware Visual Privacy Protection from Pervasive Cameras

Jiayu Shu, Rui Zheng+1 more|arXiv (Cornell University)|Oct 4, 2016

Advanced Steganography and Watermarking Techniques参考文献 18被引用数 13

ひとこと要約

Cardeaは、個人が個人向けプロファイル、顔検出、手のジェスチャー操作を用いて動的で文脈依存のプライバシー設定を定義できる、文脈に配慮したビジュアルプライバシー保護フレームワークである。実世界の環境においてプライバシー要請を識別・実行する精度は86%に達し、普及するカメラ環境における実用的でインタラクティブなソリューションを提供する。

ABSTRACT

The growing popularity of mobile and wearable devices with built-in cameras, the bright prospect of camera related applications such as augmented reality and life-logging system, the increased ease of taking and sharing photos, and advances in computer vision techniques have greatly facilitated people's lives in many aspects, but have also inevitably raised people's concerns about visual privacy at the same time. Motivated by recent user studies that people's privacy concerns are dependent on the context, in this paper, we propose Cardea, a context-aware and interactive visual privacy protection framework that enforces privacy protection according to people's privacy preferences. The framework provides people with fine-grained visual privacy protection using: i) personal privacy profiles, with which people can define their context-dependent privacy preferences; and ii) visual indicators: face features, for devices to automatically locate individuals who request privacy protection; and iii) hand gestures, for people to flexibly interact with cameras to temporarily change their privacy preferences. We design and implement the framework consisting of the client app on Android devices and the cloud server. Our evaluation results confirm this framework is practical and effective with 86% overall accuracy, showing promising future for context-aware visual privacy protection from pervasive cameras.

研究の動機と目的

• 普及するカメラ環境、特にウェアラブル機器やモバイルデバイスにおいて、増大するビジュアルプライバシー懸念に応えること。
• 静的マーカー（例：QRコード、色付きの帽子）に依存する従来の手法の限界を克服し、使いやすさと動的プライバシー設定への適応性を向上させること。
• 場所、シーン、周囲に他人がいるかどうかといった文脈に基づき、個人がプライバシー設定を表現し、動的に変更できる仕組みを提供すること。
• ハードウェア改造や外部センサーを必要とせず、見ず知らずの人々のプライバシー設定を尊重する、実用的でリアルタイムなシステムを構築すること。
• 既存のカメラデバイスとシームレスに統合され、自動実行とユーザーインタラクションの両方をサポートするシステムを実装すること。

提案手法

• 場所、シーンタイプ、他の人物の存在に基づいた文脈依存のプライバシー設定をエンコードする個人向けプロファイルを活用する。
• 深層学習に基づく顔検出と認識技術を用いて、プライバシー保護を要請している人物を同定する。
• 「はい」や「いいえ」などのジェスチャーをリアルタイムで認識することで、ユーザーが一時的にプライバシー設定を上書きできるように統合する。
• シーン分類、顔特徴抽出、ジェスチャー認識の各タスクに事前学習済みのCNNモデルを活用し、正確な文脈理解を実現する。
• Androidベースのクライアントアプリとクラウドサーバーを用いたクライアント・サーバーアーキテクチャを採用し、プライバシーポリシーの処理と実行を実施する。
• プライバシーを設計段階から組み込む（Privacy by Design）原則に従い、画像撮影時に明示的なユーザー操作を必要とせず、文脈に基づいて自動的にプライバシールールを実行する。

実験結果

リサーチクエスチョン

• RQ1 実世界のカメラ環境において、動的で文脈依存のユーザーのプライバシー設定に適応可能なビジュアルプライバシー保護はどのように実現できるか？
• RQ2 静的マーカーに依存せずに、自然かつ柔軟にプライバシー設定を表現・変更できる技術的メカニズムは何か？
• RQ3 顔検出、シーン認識、ジェスチャーによるインタラクションを統合したシステムが、プライバシー要請の識別と実行において高い精度を達成できるか？
• RQ4 多様な照明、姿勢、背景を含む多様な条件下で、実世界の制約のない環境（「野生の状態」）において、このシステムはどの程度の性能を示すか？
• RQ5 既存のモバイルおよびウェアラブルカメラデバイスにこのようなプライバシー対応システムを統合した場合、実行時およびエネルギー消費のオーバーヘッドはどの程度か？

主な発見

• Cardeaは、多様な実世界の画像において、プライバシー設定の正しく識別・実行される精度が全体で86%に達した。
• 複雑なシーンにおいても、顔特徴を用いてプライバシー保護を要請している人物を高い信頼性で検出できた。
• 手のジェスチャー認識により、リアルタイムでプライバシー設定を動的に変更できる低負荷なユーザーインタラクションが実現された。
• プロトタイプは実行時およびエネルギー消費の面で実用的であることが示され、モバイルおよびウェアラブルデバイスへの展開が可能であることが裏付けられた。
• シーン分類と文脈に配慮した意思決定が、静的またはルールベースのシステムと比較して、プライバシー保護の精度を顕著に向上させた。
• 既存のカメラパイプラインとの統合は可能であり、今後の作業として、エンドツーエンドのプライバシー保護を実現するためのカメラサブシステムとの深層統合が計画されている。