[論文レビュー] Unsupervised Learning from Continuous Video in a Scalable Predictive Recurrent Network

Filip Piȩkniewski, Patryk A. Laurent+4 more|arXiv (Cornell University)|Jul 22, 2016

Video Surveillance and Tracking Methods参考文献 84被引用数 14

ひとこと要約

本論文は、教師なしで生の連続動画から視覚的ワールドダイナミクスを学習できるスケーラブルで予測可能な再帰的ニューラルネットワークアーキテクチャ—予測視覚モデル（PVM）—を提案する。時間的予測、次元削減（自己符号化）、局所的結合を有する多層パーセプトロンを用いた文脈認識予測を統合することで、PVMは、最小限の教師信号でのファインチューニングでさえも、最先端の手法と同等またはそれを上回る頑健な視覚追跡を実現する。これは、効果的な教師なしワールドモデル学習を示している。

ABSTRACT

Understanding visual reality involves acquiring common-sense knowledge about countless regularities in the visual world, e.g., how illumination alters the appearance of objects in a scene, and how motion changes their apparent spatial relationship. These regularities are hard to label for training supervised machine learning algorithms; consequently, algorithms need to learn these regularities from the real world in an unsupervised way. We present a novel network meta-architecture that can learn world dynamics from raw, continuous video. The components of this network can be implemented using any algorithm that possesses three key capabilities: prediction of a signal over time, reduction of signal dimensionality (compression), and the ability to use supplementary contextual information to inform the prediction. The presented architecture is highly-parallelized and scalable, and is implemented using localized connectivity, processing, and learning. We demonstrate an implementation of this architecture where the components are built from multi-layer perceptrons. We apply the implementation to create a system capable of stable and robust visual tracking of objects as seen by a moving camera. Results show performance on par with or exceeding state-of-the-art tracking algorithms. The tracker can be trained in either fully supervised or unsupervised-then-briefly-supervised regimes. Success of the briefly-supervised regime suggests that the unsupervised portion of the model extracts useful information about visual reality. The results suggest a new class of AI algorithms that uniquely combine prediction and scalability in a way that makes them suitable for learning from and --- and eventually acting within --- the real world.

研究の動機と目的

• モラベックの逆説に対処するため、1歳児が持つ常識的な視覚的ダイナミクスを学習するビジョンシステムを開発すること。これは、大人レベルの分類に依存するのではなく、そうした学習を避けることを目的とする。
• ImageNetのような教師ありベンチマークの限界を克服すること。これらはラベル付きカテゴリに焦点を当てるが、動的で現実世界の視覚的規則性を欠いている。
• 人為的ラベルなしで連続動画から学習可能なスケーラブルで並列処理可能なアーキテクチャを設計すること。
• ロボットや自律システムのような動的で現実世界の環境において、実用的でリアルタイムの視覚認識を実現すること。
• 教師なし事前学習が、視覚追跡のような下流タスクの性能を向上させるために、有用なワールド知識を抽出できるかどうかを検討すること。

提案手法

• 予測視覚モデル（PVM）は、時間的予測、次元削減（自己符号化）、および補助入力を用いた文脈に配慮した予測という3つのコアコンponentから成るメタアーキテクチャを採用している。
• 各コンponentは多層パーセプトロン（MLP）で実装されており、局所的結合と学習を伴うモジュラーでスケーラブルかつ並列処理可能な学習を可能にしている。
• 予測コーディングと脳の機能にインspiredされたフィードバックおよびラテラル結合を採用することで、複雑な視覚的ダイナミクスと時間的依存性をモデル化できる。
• システムは生の動画シーケンス上でエンドツーエンドに訓練され、教師なしで将来のフレームと潜在表現を予測するように学習する。
• 教師ありファインチューニングフェーズを短時間適用し、教師なしモデルを視覚追跡タスクに適応させることで、学習されたワールドモデルが性能向上に寄与するかを検証する。
• 神経形態的および生物学的に妥当な実装と互換性を持つようにアーキテクチャが設計されており、将来的なハードウェアスケーリングを支援する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしの学習システムは、連続動画から頑健な視覚追跡を可能にする有用なワールドダイナミクスを抽出できるか？
• RQ2 ラベルなしで生の動画を事前学習することで、教師あり学習のみに比べ、下流の視覚追跡タスクの性能が向上するか？
• RQ3 スケーラブルで再帰的かつ予測可能なアーキテクチャが、照明の変化、動き、隠蔽といった現実世界の視覚的規則性をどの程度モデル化できるか？
• RQ4 教師なし環境で学習したシステムは、動的環境におけるオブジェクト追跡のような実用的ロボットタスクに一般化できるか？
• RQ5 予測アーキテクチャにフィードバックおよびラテラル結合を統合することで、標準的な順方向モデルに比べて学習がどのように向上するか？

主な発見

• PVMは、主に教師なしの学習で訓練されても、最先端の教師あり追跡アルゴリズムと同等またはそれ以上の追跡性能を達成する。
• 短時間の教師ありファインチューニングフェーズが性能を顕著に向上させ、教師なし事前学習が意味のあるワールドダイナミクスを捉えていることを示している。
• モデルは、動きぼけ、部分的隠蔽、照明変化といった困難な視覚的条件下でも安定的かつ頑健な視覚追跡を示している。
• アーキテクチャのスケーラビリティと並列処理性のおかげで、連続動画ストリームの効率的学習が可能となり、リアルタイムデプロイメントを支援する。
• 教師なし学習の成功は、視覚的シーケンスの予測モデリングが、AIにおける常識的ワールド理解の基盤として機能できることを示唆している。
• PVM実装のソースコードは公開されており、再現性とさらなる研究を支援する。