[論文レビュー] Ego-Object Discovery

Marc Bolaños, Petia Radeva|arXiv (Cornell University)|Apr 7, 2015

Video Surveillance and Tracking Methods参考文献 21被引用数 9

ひとこと要約

本論文は、事前学習済み畳み込みニューラルネットワーク（CNN）特徴量、新規のオブジェクト再充填戦略、SVMフィルタリングを用いて、第一人称カメラデータ向けの半教師付きエゴオブジェクト発見手法を提案する。PASCAL VOC 2012、MSRC、および新しいエゴセントリックデータセット（EDUB）において最先端の性能を達成し、実世界のライフログシナリオにおけるレアかつ低可視性のオブジェクトを顕著に優れて検出する。

ABSTRACT

Lifelogging devices are spreading faster everyday. This growth can represent great benefits to develop methods for extraction of meaningful information about the user wearing the device and his/her environment. In this paper, we propose a semi-supervised strategy for easily discovering objects relevant to the person wearing a first-person camera. Given an egocentric video/images sequence acquired by the camera, our algorithm uses both the appearance extracted by means of a convolutional neural network and an object refill methodology that allows to discover objects even in case of small amount of object appearance in the collection of images. An SVM filtering strategy is applied to deal with the great part of the False Positive object candidates found by most of the state of the art object detectors. We validate our method on a new egocentric dataset of 4912 daily images acquired by 4 persons as well as on both PASCAL 2012 and MSRC datasets. We obtain for all of them results that largely outperform the state of the art approach. We make public both the EDUB dataset and the algorithm code.

研究の動機と目的

• エゴセントリックライフログデータにおいて頻繁に出現するが、視覚的に多様で部分的遮蔽を受けるオブジェクトを発見する課題に対処すること。
• 非意図的で低解像度のエゴセントリック画像において、従来のオブジェクトネス検出器が高頻度で誤検出する『オブジェクトなし』候補（偽陽性）を克服すること。
• 深層特徴量と反復的リファインメントを実現する再充填メカニズムを活用することで、希少または低可視性のオブジェクトクラスの検出を向上させること。
• 最小限の人的アノテーションで多様なエゴセントリック環境に一般化可能な、堅牢な半教師付きフレームワークを構築すること。
• 現実的でノイズが多く、ぼやけたエゴセントリック画像シーケンスにおいて、ユーザーにとって意味のあるオブジェクトを発見可能にすること。

提案手法

• VGGに類似したアーキテクチャから得た事前学習済み深層CNN特徴量を用い、オブジェクト候補の豊富な高レベルの外観表現を抽出する。
• 以前に発見されたクラスの特徴量を再利用することで、低可視性または部分的遮蔽を受けるオブジェクトインスタンスを回復・再評価する、新規の「再充填」戦略を適用する。
• オブジェクトネス検出器が生成する偽陽性の『オブジェクトなし』候補を低減するために、1クラスSVM分類器を用いてノイズを除去する。
• 反復的発見パイプラインを実装する：（1）オブジェクトネス候補を抽出、（2）SVMでフィルタリング、（3）上位候補をクラスタリング、（4）最も良いクラスタを新しいオブジェクトとしてラベル付け、（5）再充填特徴量を用いてより困難なインスタンスを発見。
• 初期のオブジェクト発見は検出が容易なインスタンスによってガイドされ、その後、より困難で頻度の低いクラスの段階的リファインメントが行われる半教師付きアプローチを採用する。
• 低レベルの画像特徴量（例：色、テクスチャ）は比較のためのベースラインとしてのみ統合される。本手法のコアは、優れた表現能力を発揮する深層CNN特徴量に依存する。

実験結果

リサーチクエスチョン

• RQ1 従来の低レベル特徴量と比較して、深層CNN特徴量はエゴセントリックライフログデータにおけるオブジェクト発見性能を顕著に向上させるか？
• RQ2 提案された再充填戦略は、非意図的でぼやけた、遮蔽を受けるエゴセントリック画像において、希少または低可視性のオブジェクトインスタンスの検出をどの程度向上させるか？
• RQ3 オブジェクトネス検出器が生成する『オブジェクトなし』候補の偽陽性を低減するためのSVMフィルタリングは、挑戦的なエゴセントリック環境においてどの程度有効か？
• RQ4 CNN特徴量、再充填、SVMフィルタリングの組み合わせは、エゴセントリック、PASCAL VOC 2012、MSRCといった多様なデータセットにおいて、最先端手法と比較してF-measureおよび発見カバレッジを向上させるか？
• RQ5 画像劣化が顕著な現実世界の状況下で、高イントラクラス変異性（例：手、人間）を示すオブジェクトを検出する際、本手法はどの程度の性能を発揮するか？

主な発見

• SVMフィルタリングを施した後、Graumanの特徴量を用いたベースライン手法と比較して、『オブジェクトなし』候補が92.75%削減され、クラスタの49%まで低下（ベースラインでは96%が『オブジェクトなし』とラベル付けされた）。
• 4人のユーザーから得た4912枚のエゴセントリック画像からなるEDUBデータセットにおいて、本手法は正解の固有オブジェクトインスタンスの16%を発見した。これに対してベースライン（S1）は6–7%にとどまる。
• PASCAL VOC 2012、MSRC、および新規のEDUBデータセットにおいて、本手法は最先端のF-measureを達成し、Leeら（2011）やKadingら（2015）を含む従来手法を顕著に上回った。
• CNN特徴量と再充填戦略の組み合わせにより、従来手法がしばしば見逃すような頻度が低く視覚的に多様なクラス（例：手、人間）の検出が可能になった。
• 非常にぼやけた、ノイズの多いエゴセントリック画像に対しても、本手法は高い性能を維持しており、ライフログデータに一般的な画像劣化に対して頑健であることが示された。
• 反復的発見プロセスにより、困難度の高い順にオブジェクトクラスが特定された。初期段階では高頻度オブジェクトが検出され、後続段階では希少または部分的に可視なインスタンスが発見された。