[論文レビュー] Object Recognition from Short Videos for Robotic Perception

Ivan Bogun, Anelia Angelova+1 more|arXiv (Cornell University)|Sep 4, 2015

Advanced Neural Network Applications参考文献 26被引用数 6

ひとこと要約

本論文では、短い動画シーケンス（最大5フレーム）からの動きの手がかりを活用して、ロボットオブジェクト認識を向上させる畳み込み型長短期記憶（LSTM）ネットワークを提案する。標準の全結合ゲートを畳み込み演算に置き換えることで、モデルは局所的な動きの依存関係をより効果的に捉えることができ、ワシントンRGBDオブジェクトおよびシーンデータセットの両方で最先端の精度を達成し、静的画像ベースラインおよび先行の動画ベース手法を上回る性能を示した。

ABSTRACT

Deep neural networks have become the primary learning technique for object recognition. Videos, unlike still images, are temporally coherent which makes the application of deep networks non-trivial. Here, we investigate how motion can aid object recognition in short videos. Our approach is based on Long Short-Term Memory (LSTM) deep networks. Unlike previous applications of LSTMs, we implement each gate as a convolution. We show that convolutional-based LSTM models are capable of learning motion dependencies and are able to improve the recognition accuracy when more frames in a sequence are available. We evaluate our approach on the Washington RGBD Object dataset and on the Washington RGBD Scenes dataset. Our approach outperforms deep nets applied to still images and sets a new state-of-the-art in this domain.

研究の動機と目的

• 静的画像に依存するのではなく、短い動画シーケンスにおける時間的動きの手がかりを活用することで、ロボットの認識性能を向上させること。
• 動画フレーム内の局所的な動きの変形を効果的にモデル化できる再帰的ニューラルネットワークアーキテクチャを設計すること。
• 短い動画クリップ（例：2〜5フレーム）の制約を考慮して、リアルタイムのロボットおよびモバイルアプリケーションに適した計算効率の高いモデルを開発すること。
• オブジェクトの可視性や視点の変化が生じる多様なデータセットにおいて、モデルの汎用性と頑健性を示すこと。

提案手法

• 各LSTMゲート（入力、忘却、出力）を全結合層の代わりに畳み込み演算で実装する完全畳み込み型LSTMアーキテクチャを採用する。
• この畳み込み型設計により、隣接フレーム間で空間的に局所的な動きのパターンを学習でき、標準LSTMに比べて局所的な動きの変形をより効果的に捉えることができる。
• 特徴表現と認識精度の向上を図るため、単方向学習と双方向推論を組み合わせた双方向LSTM構造を用いる。
• フレームクロップをワシントンRGBDデータセットから取得し、セグメンテーションマスクを一切必要とせず、短い動画シーケンス上でエンドツーエンドに学習する。
• 限定されたデータセットでの収束性と性能向上を図るため、ImageNetで事前学習された畳み込みフィルタでネットワークを初期化する。
• 推論の高速化を図り、ベースラインCNNでは1フレームあたり0.1秒、2フレームのシーケンスに対しては0.87秒の処理時間を1枚のGPUで達成した。

実験結果

リサーチクエスチョン

• RQ1 非常に短い動画シーケンス（2〜5フレーム）から抽出した動き情報が、ロボット認識の精度を顕著に向上させることができるか？
• RQ2 完全畳み込み型LSTMアーキテクチャが、標準の全結合LSTMや静的CNNに比べて、認識タスクにおける動きのモデル化で優れているか？
• RQ3 フレームがさらに離れて間隔が空いている場合、より多くのフレームが利用可能になったときにモデルの性能はどのように変化するか？特に、フレーム間の間隔が広がるとどうなるか。
• RQ4 フレームの数が限られている実世界のロボットおよびモバイル環境でも、モデルが高い性能と効率を維持できるか？

主な発見

• 提案された畳み込み型LSTMモデルは、ワシントンRGBDオブジェクトおよびシーンデータセットの両方で最先端の性能を達成し、静的画像ベースラインおよび先行の動画ベース手法を上回った。
• シーケンスに含めるフレーム数が増えるほど認識精度が向上し、特にフレーム間隔が1〜3フレームの間隔で最大の向上が観察された。これは、動きの手がかりを最適に活用できていることを示している。
• フレーム間隔が5または10フレーム以上離れているシーケンスでは、物体の隠蔽や消失の影響により精度がわずかに低下した。これは、実用的応用においてフレームの近接性が重要であることを示している。
• 1枚のGPU上で2フレームのシーケンスあたり0.87秒の処理時間を達成しており、リアルタイムのロボット認識システムに実用的である。
• 単方向学習と双方向推論を組み合わせたアプローチが最も高い性能を示し、時間的文脈のモデリングの有効性を裏付けた。
• アーキテクチャの変更なしに、広い視点や自然なシーン動画を含む多様なデータセットに良好に一般化し、強力な結果を達成した。