[論文レビュー] Recognizing Activities of Daily Living with a Wrist-mounted Camera

Katsunori Ohnishi, Atsushi Kanehira+2 more|arXiv (Cornell University)|Nov 20, 2015

Human Pose and Action Recognition参考文献 27被引用数 7

ひとこと要約

本論文は、手首に装着されたカメラを用いたエゴセントリックな活動認識の手法を提案し、対象物のスケールアップした捉え込みを可能にするとともに、物体検出の必要性を排除する。新たに開発された判別的動画表現（DSTAR）は、空間的および時間的情報を保持し、頭部に装着されたカメラと比較して、18.1%の平均精度向上を達成した。これは、同期された手首および頭部に装着されたカメラ映像データを備えた新規で公開可能なデータセットを用いた結果である。

ABSTRACT

We present a novel dataset and a novel algorithm for recognizing activities of daily living (ADL) from a first-person wearable camera. Handled objects are crucially important for egocentric ADL recognition. For specific examination of objects related to users' actions separately from other objects in an environment, many previous works have addressed the detection of handled objects in images captured from head-mounted and chest-mounted cameras. Nevertheless, detecting handled objects is not always easy because they tend to appear small in images. They can be occluded by a user's body. As described herein, we mount a camera on a user's wrist. A wrist-mounted camera can capture handled objects at a large scale, and thus it enables us to skip object detection process. To compare a wrist-mounted camera and a head-mounted camera, we also develop a novel and publicly available dataset that includes videos and annotations of daily activities captured simultaneously by both cameras. Additionally, we propose a discriminative video representation that retains spatial and temporal information after encoding frame descriptors extracted by Convolutional Neural Networks (CNN).

研究の動機と目的

• ウェアラブルカメラを用いた第一人称視点からの日常的活動（ADL）認識の課題に対処すること。
• 頭部に装着されたカメラや胸に装着されたカメラの限界、例えば小規模な物体の捉え込みや物体検出に依存する点を克服すること。
• 比較分析を可能にするために、手首に装着されたカメラと頭部に装着されたカメラの両方からの同期映像と活動ラベルを備えた新規なデータセットの開発。
• エゴセントリックな状況での認識向上を目的として、空間的および時間的情報を保持する動画表現の提案。
• バウンディングボックスのアノテーションを必要とせずに、手首に装着されたカメラが頭部に装着されたカメラを上回るADL認識精度を達成することの実証。

提案手法

• ユーザーの優位な手首にカメラを装着し、対象物を大規模に捉えることで、被覆を低減し、可視性を向上させる。
• 手首に装着されたカメラと頭部に装着されたカメラの両方からの同期映像と活動ラベルを備えた、新規で公開可能なデータセットの開発。
• 空間的および時間的ピラミッドを用いて畳み込みニューラルネットワーク（CNN）特徴を符号化する、学習可能な重みを有する判別的動画表現（DSTAR）の提案。
• 空間的および時間的重みを交互に繰り返し最適化することで、動画内の判別的領域および時間的セグメントを強調する。
• 二重ストリームアプローチを採用：手首に装着されたデータにはDSTAR、頭部に装着されたデータにはiDTを適用し、補完的な特徴を統合する。
• 時間的セグメントに基づく分類を用い、異なる空間的および時間的レベルからの特徴を最終融合することで、モデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 手首に装着されたカメラは、頭部に装着されたカメラと比較して、日常的活動認識の精度を顕著に向上させることができるか？
• RQ2 空間的および時間的情報を保持する動画表現は、エゴセントリックな状況において、標準的な動画符号化手法を上回る性能を示すか？
• RQ3 手首に装着されたカメラを用いることで、日常的活動認識において物体検出をどれだけ回避できるか？
• RQ4 手首に装着されたカメラ映像における空間的および時間的バイアスは、認識性能およびモデル設計にどのように影響を与えるか？
• RQ5 手首に装着されたカメラと頭部に装着されたカメラのデータを統合することで、さらなる認識精度の向上が達成できるか？

主な発見

• 手首に装着されたカメラは、23のADLクラスのうち18クラスで、頭部に装着されたカメラと比較して平均28.1%の精度向上を達成した。
• DSTAR手法は、手首に装着されたカメラデータに適用した場合、ベースラインのLCD手法と比較して平均10.1%の精度向上を達成した。
• 『掃除機をかける』クラスでは、DSTARによる背景特徴の効果的な抑制が顕著に現れ、最も顕著な改善が見られた。
• 『食器を乾かす』クラスでは、手首に装着されたカメラで18.5%の性能低下が見られたが、主に『食器を洗う』と混同されることが原因であった。
• DSTARによる手首に装着されたデータとiDTによる頭部に装着されたデータの特徴を統合することで、14のクラスで精度が向上し、平均で10.4%の向上が得られた。
• DSTAR重みの可視化分析により、画像中央部に強く空間的バイアスが存在することが確認され、時間的バイアスは弱く、初期および終盤の行動フェーズがわずかに判別性が高かった。