[論文レビュー] Recognizing Activities of Daily Living from Egocentric Images

Alejandro Cartas, Juan Marín+2 more|arXiv (Cornell University)|Apr 13, 2017

Context-Aware Activity Recognition Systems参考文献 8被引用数 4

ひとこと要約

本論文は、事前に学習された畳み込みニューラルネットワーク（CNN）の複数の層からの特徴マップを組み合わせ、ランダムフォレスト分類器と統合する新しいアンサンブル手法を提案する。この手法により、低時間分解能のエゴセントリック画像からのアクティビティ認識が向上する。NTCIR-12ベンチマークの21クラスデータセットにおいて86%の全体精度を達成し、全結合層からのグローバル画像特徴を統合することにより、ベースラインCNNと比較して最大8.07%の性能向上を達成した。

ABSTRACT

Recognizing Activities of Daily Living (ADLs) has a large number of health applications, such as characterize lifestyle for habit improvement, nursing and rehabilitation services. Wearable cameras can daily gather large amounts of image data that provide rich visual information about ADLs than using other wearable sensors. In this paper, we explore the classification of ADLs from images captured by low temporal resolution wearable camera (2fpm) by using a Convolutional Neural Networks (CNN) approach. We show that the classification accuracy of a CNN largely improves when its output is combined, through a random decision forest, with contextual information from a fully connected layer. The proposed method was tested on a subset of the NTCIR-12 egocentric dataset, consisting of 18,674 images and achieved an overall accuracy of 86% activity recognition on 21 classes.

研究の動機と目的

• raw CNN予測を超える文脈的視覚特徴を活用することで、エゴセントリック画像からのアクティビティ認識を向上させること。
• 時間的要因や色ベースの手がかりに依存せず、多様な日常行動を送る複数のユーザーに一般化可能なアクティビティ認識を実現すること。
• 過学習を軽減し、代表度が低いクラスや重複するクラス（例：「飲酒/単独で食べる」対「一緒に食べる」）における性能を向上させること。
• 分類性能の向上を目的として、複数のCNN層（例：FC6、pool5/7x7、softmax）をランダムフォレストの入力として統合する有効性を検証すること。
• エゴセントリックライフログにおけるクラス内変動や限られた訓練データに対して頑健な手法を開発すること。

提案手法

• 本手法は、エゴセントリック画像からの特徴抽出に、事前に学習済みの2つのCNN（AlexNetとGoogLeNet）を用いる。
• ソフトマックス確率出力と最終全結合層（FC6またはpool5/7x7）を統合し、1枚の画像あたり1,045次元の特徴ベクトルを生成する。
• これらの統合特徴を入力として、500本の決定木を用いたランダムフォレスト分類器を訓練し、アクティビティクラスを予測する。
• 時間的要因や色ヒストグラムに依存せず、内部CNN特徴を文脈的事前知識として用いることで、このアプローチはその依存を回避する。
• 本手法は、NTCIR-12データセットのサブセット（18,674枚の画像、21のアクティビティラベル）を用いて評価された。
• アンサンブル性能は、異なるCNN層と統合戦略の比較を通じて評価され、最適な精度を得るためにハイパーパrameterが最適化された。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックス層のみを用いるのではなく、複数のCNN層をランダムフォレストと統合することで、エゴセントリック画像におけるアクティビティ認識精度が向上するか？
• RQ2 内部CNN特徴（例：FC6）を文脈的情報として用いることで、色ヒストグラムのような従来のグローバル画像特徴を上回る性能が、マルチユーザー環境で達成できるか？
• RQ3 本手法のアンサンブルは、「飲酒/単独で食べる」と「一緒に食べる」のような重複するか、代表度が低いアクティビティクラスにおいて、どのように性能を発揮するか？
• RQ4 「屋外を歩行」クラスのように訓練データが少ない低データ環境において、この手法は過学習をどの程度軽減できるか？
• RQ5 ユーザーのライフスタイルが多様な状況下でも、ユーザー特化の調整なしに一般化できるか？

主な発見

• 提案されたアンサンブル手法は、21クラスのNTCIR-12エゴセントリックデータセットにおいて全体で86%の精度を達成し、ベースラインCNNと比較して顕著な向上を示した。
• 最も優れた性能を示したアンサンブル、GoogLeNet+RF on pool5/7x7+probは、ベースラインCNNと比較して7.93%の精度向上を達成した。
• AlexNet+RF on FC6のアンサンブルは、ベースラインと比較して8.07%の向上を示し、困難なクラスにおいても優れた性能を発揮した。
• 「調理」や「掃除・家事」のような低頻度クラスの再現率が顕著に向上した。
• 「飲酒/単独で食べる」と「一緒に食べる」のような重複クラスにおいて、誤分類が減少し、より良い識別性能が得られた。
• 唯一の性能低下は「自転車乗り」（81.68%から低下）で、これはランダムフォレストの正則化がクラス間の誤りをバランスさせる結果、生じた可能性がある。