[論文レビュー] On the Role of Event Boundaries in Egocentric Activity Recognition from Photostreams

Alejandro Cartas, Estefanía Talavera+2 more|arXiv (Cornell University)|Sep 2, 2018

Human Pose and Action Recognition参考文献 13被引用数 3

ひとこと要約

本稿は、写真ストリームからの自己中心的アクティビティ認識におけるイベント境界の影響を調査し、SR-クラスタリングを用いて自動的に抽出されたイベントセグメントを活用する手法を提案する。15名のユーザーの1日分の写真ストリームから構成される新しいデータセットを用いて、イベントベースの時系列セグメンテーションが認識精度を顕著に向上させることを示している。CNN+双方向LSTMモデルを用いた場合、75.59%の精度を達成し、固定サイズのスライディングウィンドウを上回り、未観測ユーザーへの一般化能力も顕著に向上させた。

ABSTRACT

Event boundaries play a crucial role as a pre-processing step for detection, localization, and recognition tasks of human activities in videos. Typically, although their intrinsic subjectiveness, temporal bounds are provided manually as input for training action recognition algorithms. However, their role for activity recognition in the domain of egocentric photostreams has been so far neglected. In this paper, we provide insights of how automatically computed boundaries can impact activity recognition results in the emerging domain of egocentric photostreams. Furthermore, we collected a new annotated dataset acquired by 15 people by a wearable photo-camera and we used it to show the generalization capabilities of several deep learning based architectures to unseen users.

研究の動機と目的

• 自己中心的写真ストリームにおけるアクティビティ認識性能の向上に、イベント境界が果たす役割を調査すること。
• 自己中心的アクティビティ認識において、深層学習モデルが未観測ユーザーに一般化できる能力を評価すること。
• 固定サイズウィンドウ、全系列、イベントベースのセグメンテーションの3つの時系列セグメンテーション戦略が、認識性能に与える影響を比較すること。
• 15名のユーザーが装着するウェアラブルカメラで収集した102,227枚の画像から構成される新しいアノテート済みデータセットを提供すること。
• 特に双方向LSTMを含む深層学習アーキテクチャの有効性を、イベントセグメント化された系列で学習させた場合に評価すること。

提案手法

• 著者らは、15名のユーザーから102,227枚の画像を収集した新しい自己中心的写真ストリームデータセットを構築した。画像は約30秒間隔で撮影された。
• イベント境界は、視覚的・意味的特徴が類似した連続する画像を時系列的にグループ化するSR-クラスタリングを用いて自動抽出した。
• 3つの深層学習モデル（CNN+LSTM、CNN+双方向LSTM、CNN+RF+LSTM）を、全系列とイベントセグメント化された系列の両方で学習した。
• 認識性能の評価には、異なる時系列セグメンテーション戦略の下で、正解率、マクロ平均精度、マクロ平均再現率、マクロF1スコアを用いた。
• 比較のためのベースラインとして、固定サイズのセグメントを用いたスライディングウィンドウ手法を採用した。
• すべてのモデルでXceptionネットワークをベースのCNNとして用い、画像埋め込みの時系列モデリングには再帰的ネットワークを適用した。

実験結果

リサーチクエスチョン

• RQ1 固定サイズのスライディングウィンドウと比較して、自動的に検出されたイベント境界を組み込むことで、自己中心的写真ストリームにおけるアクティビティ認識性能が向上するか？
• RQ2 全系列、固定サイズのセグメント、イベントベースのセグメンテーションの3つの異なる時系列セグメンテーション戦略が、認識精度と頑健性に与える影響は何か？
• RQ3 自己中心的写真ストリームで学習した深層学習モデルが、未観測ユーザーにどの程度一般化できるか？
• RQ4 イベントベースのセグメンテーションは、特に短いテスト系列において認識性能を向上させるか？
• RQ5 この設定において、双方向LSTMと単方向LSTM、RF拡張モデルの相対的な性能はいかほどか？

主な発見

• CNN+双方向LSTMモデルは、イベントセグメント化された系列で学習した場合、75.59%の最高精度を達成し、他のすべてのモデルを上回った。
• イベントベースのセグメンテーション（SR-クラスタリング）は、3つのLSTMモデルのうち2つについて、固定サイズのスライディングウィンドウを上回る性能を示し、より良い時系列の整合性の捉え方を示した。
• CNN+双方向LSTMがイベントセグメント化データで最も高いマクロF1スコア51.21%を達成し、ベースラインのスライディングウィンドウ手法を顕著に上回った。
• CNN+RF+LSTMモデルは、ベースラインより性能が低かった。これは、RF部の過学習が原因と考えられ、特に未観測ユーザーに対して顕著に顕われた。
• モデルの一般化能力は、イベント境界を用いた場合に最も効果的であった。未観測ユーザーに対するマクロ再現率とF1スコアの向上がその証左であった。
• イベントセグメンテーションは長時間系列に対して特に有益であった一方で、固定サイズウィンドウは短いテスト系列に対して優れた性能を示した。これにより、時系列的文脈の重要性が浮き彫りになった。