[論文レビュー] Detecting the Moment of Completion: Temporal Models for Localising Action Completion

Farnoosh Heidarivincheh, Majid Mirmehdi+1 more|arXiv (Cornell University)|Oct 6, 2017

Human Pose and Action Recognition参考文献 9被引用数 5

ひとこと要約

本論文では、微調整されたCNN特徴量と時系列モデル（LSTMおよびHMM）を用いて、行動の完了の正確な瞬間を局所化する教師ありアプローチを提案する。フレーム単位の完了検出に用いられ、6つの行動において、正解値から10フレーム以内に完了を検出する精度は約75%に達し、PCA-HMMは不完全なシーケンスにおいてLSTMを上回る性能を示す。

ABSTRACT

Action completion detection is the problem of modelling the action's progression towards localising the moment of completion - when the action's goal is confidently considered achieved. In this work, we assess the ability of two temporal models, namely Hidden Markov Models (HMM) and Long-Short Term Memory (LSTM), to localise completion for six object interactions: switch, plug, open, pull, pick and drink. We use a supervised approach, where annotations of pre-completion and post-completion frames are available per action, and fine-tuned CNN features are used to train temporal models. Tested on the Action-Completion-2016 dataset, we detect completion within 10 frames of annotations for ~75% of completed action sequences using both temporal models. Results show that fine-tuned CNN features outperform hand-crafted features for localisation, and that observing incomplete instances is necessary when incomplete sequences are also present in the test set.

研究の動機と目的

• 行動認識の分野において、運動の開始や終了の検出にとどまらず、行動の目的が達成された瞬間を正確に特定することのギャップを埋める。
• 視覚的特徴に基づいて、完了前の状態と完了後の状態をフレーム単位で区別する手法を開発すること。
• LSTM や HMM などの時系列モデルが、微調整されたCNN特徴量を用いて、行動完了の瞬間を効果的に局所化できるかどうかを評価すること。
• 不完全なシーケンスを訓練データに含めることで、完了検出における誤検出を回避する必要性を調査すること。

提案手法

• 各フレームにおける視覚的変化を表すために、微調整された畳み込みニューラルネットワーク（FT-CNN）から抽出されたフレーム単位の特徴量を用いる。
• 行動の進行を時間的にモデル化するために、長短期記憶（LSTM）と確率的文脈的HMM（PCA-HMM）の2つの時系列モデルを適用する。
• 各行動シーケンスについて、完了前と完了後のフレームのアノテーションを教師信号として用いてモデルを訓練する。
• 検出タイミングを評価するための指標を採用し、正解値から早すぎるまたは遅すぎる検出に対してペナルティを課す。
• 微調整されたCNN特徴量と、手作業で設計された特徴量や事前学習済み特徴量の性能を比較する。
• 完全なシーケンスのみで訓練し、完全なシーケンスおよび不完全なシーケンスの両方でテストすることで、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTM や HMM などの時系列モデルは、視覚的特徴を用いて、フレーム単位の行動完了の瞬間を効果的に局所化できるか？
• RQ2 微調整されたCNN特徴量は、手作業で設計された特徴量や事前学習済み特徴量と比較して、完了の兆候を検出する上で優れているか？
• RQ3 訓練データに不完全なシーケンスを含めることで、未観測の不完全なシーケンスに対する検出のロバストネスが向上するか？
• RQ4 LSTM と PCA-HMM のどちらの時系列モデルが、完全なシーケンスでは精度を維持しつつ、不完全なシーケンスに対してもより良い一般化性能を示すか？

主な発見

• LSTM と PCA-HMM の両方とも、Action-Completion-2016データセットにおいて、完全な行動シーケンスの約75%で正解値から10フレーム以内に完了を検出する。
• 微調整されたCNN特徴量は、手作業で設計された特徴量や事前学習済み特徴量よりも顕著に優れており、微細なシーンの変化をよりよく捉えているためである。
• PCA-HMM は不完全なシーケンスにおいて F1 スコアが 90.6 と高く、LSTM の 90.1 よりも誤検出に対するロバストネスが優れている。
• LSTM は完全なシーケンスにおいて、再現率（92.7%）と F1 スコア（90.1%）が PCA-HMM（再現率 89.0%、F1 スコア 90.6%）を上回り、検出感度が優れている。
• 完全なシーケンスのみで訓練すると、特にスイッチやドリンクといった行動では、不完全なシーケンスに対しても誤って完了を検出するようになるため、混合された訓練データの必要性が浮き彫りになる。
• スイッチ行動は明確な視覚的変化（電球の消灯）があるため、最も高い検出精度を示し、オープン行動は環境の変化が微細なため、最も低い性能を示す。