[論文レビュー] An Overview of First Person Vision and Egocentric Video Analysis for Personal Mobile Wearable Devices

Alejandro Betancourt, Pietro Morerio+2 more|arXiv (Cornell University)|Sep 4, 2014

Video Surveillance and Tracking Methods被引用数 3

ひとこと要約

本論文は、1997年から2014年までのファーストパーソンビジョンおよびエゴセントリック動画分析について包括的なサーベイを提供しており、ウェアラブルデバイスの動画処理におけるリアルタイム応用のための、主な特徴、手法、課題をレビューしている。オブジェクト検出、アクティビティ認識、ユーザーマシンインタラクションにおける進展を統合し、分野における進化する技術と今後の研究機会を強調している。

ABSTRACT

The emergence of new wearable technologies such as action cameras and smart-glasses has increased the interest of computer vision scientists in the First Person perspective. Nowadays, this field is attracting attention and investments of companies aiming to develop commercial devices with First Person Vision recording capabilities. Due to this interest, an increasing demand of methods to process these videos, possibly in real-time, is expected. Current approaches present a particular combinations of different image features and quantitative methods to accomplish specific objectives like object detection, activity recognition, user machine interaction and so on. This paper summarizes the evolution of the state of the art in First Person Vision video analysis between 1997 and 2014, highlighting, among others, most commonly used features, methods, challenges and opportunities within the field.

研究の動機と目的

• 1997年から2014年までのファーストパーソンビジョンおよびエゴセントリック動画分析の進化をマッピングすること。
• ファーストパーソン動画処理において一般的に使用された画像特徴および定量的手法を特定すること。
• ウェアラブルデバイスの動画におけるリアルタイム分析の課題と機会を分析すること。
• オブジェクト検出、アクティビティ認識、ユーザーマシンインタラクションなどの応用分野における進捗を要約すること。
• 分野における最先端のアプローチを統合することで、今後の研究の基盤を提供すること。

提案手法

• 1997年から2014年までのファーストパーソンビジョンに関する学術文献および技術報告の体系的レビュー。
• オブジェクト検出、アクティビティ認識、ユーザーアクセスなど、応用分野に基づいて手法を分類すること。
• エゴセントリック動画処理において頻繁に使用された視覚的特徴（SIFT、HOG、深層学習ベースの埋め込みなど）の分析。
• 時間的モデリングに用いられる定量的アプローチ（条件付きランダムフィールド、隠れマルコフモデルなど）の検討。
• ウェアラブルシステムにおけるリアルタイム処理制約およびハードウェア制限の評価。
• 手法的および応用的パターンに基づいて、トレンド、ギャップ、今後の研究方向性の統合。

実験結果

リサーチクエスチョン

• RQ1 1997年から2014年までのファーストパーソン動画分析において、主に使用された視覚的特徴および手法は何か？
• RQ2 ウェアラブルデバイスを用いたエゴセントリック動画のリアルタイム処理における主な課題は何か？
• RQ3 オブジェクト検出、アクティビティ認識、ユーザーマシンインタラクションなどのタスクを支援するために、手法はどのように進化したか？
• RQ4 この期間における最先端技術を踏まえて、ファーストパーソンビジョン分野における今後の研究機会は何か？
• RQ5 現在のアプローチの正確性、スケーラビリティ、モバイルウェアラブルプラットフォームへの展開面での主な制限要因は何か？

主な発見

• 1997年から2014年までのファーストパーソンビジョン研究は、ウェアラブルカメラやスマートグラスの進歩によって著しく成長した。
• SIFTおよびHOGは、エゴセントリック動画におけるオブジェクト検出およびアクティビティ認識の分野で、最も一般的に使用された視覚的特徴のままだった。
• 時間的モデリング手法として、隠れマルコフモデルや条件付きランダムフィールドが、アクティビティシーケンスのモデリングに広く応用された。
• モバイルおよびウェアラブルデバイスの計算制約のため、リアルタイム処理は依然として主要な課題のままだった。
• 分野は、エゴセントリック動画データを用いたユーザーマシンインタラクションおよびコンテキストに応じた応用への関心を高めていた。
• 進展はあったものの、動きぼけや照明の変動といった現実世界の条件下でのスケーラビリティとロバストネスは、依然として主な制限要因のままだった。