[論文レビュー] ScreenAvoider: Protecting Computer Screens from Ubiquitous Cameras

Mohammed Korayem, Robert Templeman+3 more|arXiv (Cornell University)|Nov 28, 2014

Video Surveillance and Tracking Methods参考文献 22被引用数 13

ひとこと要約

ScreenAvoider は、ライフログデータに含まれるコンピュータ画面を検出・分類するコンピュータビジョンフレームワークであり、画面の有無や内容に基づいたプライバシーポリシーの実行を可能にする。深層学習を用いて高精度な検出を実現し、メールやメッセージングアプリなど機微な画面コンテンツを特定する ScreenTag を導入することで、あらゆるカメラ環境におけるプライバシーマネジメントを顕著に向上させる。

ABSTRACT

We live and work in environments that are inundated with cameras embedded in devices such as phones, tablets, laptops, and monitors. Newer wearable devices like Google Glass, Narrative Clip, and Autographer offer the ability to quietly log our lives with cameras from a `first person' perspective. While capturing several meaningful and interesting moments, a significant number of images captured by these wearable cameras can contain computer screens. Given the potentially sensitive information that is visible on our displays, there is a need to guard computer screens from undesired photography. People need protection against photography of their screens, whether by other people's cameras or their own cameras. We present ScreenAvoider, a framework that controls the collection and disclosure of images with computer screens and their sensitive content. ScreenAvoider can detect images with computer screens with high accuracy and can even go so far as to discriminate amongst screen content. We also introduce a ScreenTag system that aids in the identification of screen content, flagging images with highly sensitive content such as messaging applications or email webpages. We evaluate our concept on realistic lifelogging datasets, showing that ScreenAvoider provides a practical and useful solution that can help users manage their privacy.

研究の動機と目的

• ウェアラブルカメラやあらゆるカメラがコンピュータ画面に表示された機微な情報を記録するという、増大するプライバシーリスクに対処する。
• 大規模なライフログデータセットの手動レビューに依存しない、画像にコンピュータ画面が含まれるかどうかを自動的に検出するシステムを開発する。
• 特にメールやメッセージングアプリなど、極めて機微なアプリケーションを対象として、画面の有無やコンテンツタイプに基づいたプライバシーポリシーの定義を可能にする。
• 画面の有無や機微な画面コンテンツの有無を区別することで、ライフログにおけるプライバシーマネジメントを向上させる。
• 既存のクラウドベースのライフログサービスやオペレーティングシステムと統合可能な実用的で展開可能なソリューションを提供し、リアルタイムでのポリシー強制を実現する。

提案手法

• 最先端のオブジェクト検出技術を活用し、深層畳み込みニューラルネットワーク（CNN）を用いて、高精度に画像内にコンピュータ画面が存在するかを検出する。
• 2段階の検出パイプラインを採用：まず画面領域を特定し、その後その領域内のコンテンツを細分化された視覚認識により分類する。
• 視覚的パターンに基づき、メールインターフェースやメッセージングアプリなど、極めて機微なコンテンツを含む画像を特定・フラグ付けする ScreenTag を導入する。
• 視覚的属性（例：画面の有無、コンテンツタイプ）がプライバシーポリシーをトリガーする属性ベースアクセス制御（ABAC）の原則を適用する。
• 実世界の展開状況を模擬するため、現実的なライフログデータセットを用いてシステムの評価を行い、実用的制約下でのパフォーマンスを測定する。
• API や OS レベルのサービスを通じて既存のライフログプラットフォームと統合し、画像収集またはアップロード時にリアルタイムでのポリシー強制を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルカメラが撮影した画像において、深層学習ベースのシステムがコンピュータ画面の存在を高精度に検出できるか。
• RQ2 システムは、メール、メッセージング、一般のウェブブラウジングなど、機微 vs. 非機微のカテゴリに画面コンテンツをどの程度正確に分類できるか。
• RQ3 ScreenTag は、個人メッセージや金融データなど極めて機微なコンテンツを含む画像を特定・フラグ付けするのにどの程度効果的か。
• RQ4 このフレームワークは、顕著なユーザーの干渉なしに、既存のライフログパイプラインに統合可能か。
• RQ5 混合コンテンツを含む大量の画像を含む実世界のライフログシナリオにおいて、システムはどの程度のパフォーマンスを示すか。

主な発見

• ScreenAvoider は、ライフログ画像におけるコンピュータ画面の検出において高い精度を達成し、実世界環境における自動的スクリーン検出の実現可能性を示している。
• システムは、画面を含む画像と含まない画像を効果的に区別でき、画面の有無に基づいた有効なポリシー強制を可能にしている。
• ScreenTag は、メッセージングアプリケーションやメールのウェブページなど、機微なコンテンツを含む画像を効果的に特定・フラグ付けしており、不測の漏洩リスクを低減している。
• このフレームワークにより、特に機微なコンテンツを含む画像のクラウドストレージをブロックまたは制限するプライバシーポリシーの実行が可能になった。
• 現実的なライフログデータセットを用いた評価により、ScreenAvoider が、あらゆるカメラ環境におけるプライバシーマネジメントの実用的かつスケーラブルなソリューションを提供することが確認された。
• 深層学習と属性ベースアクセス制御の統合により、従来のルールベースや手動アプローチに比べ、意味的レベルでのプライバシーマネジメントが実現され、顕著な前進を遂げた。