[論文レビュー] Object Localization and Motion Transfer learning with Capsules.

Weitang Liu, Emad Barsoum+1 more|arXiv (Cornell University)|May 20, 2018

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、物体座標原子とLSTMネットワークを組み合わせたCapsNetベースのアーキテクチャを提案し、物体の局所化と運動予測を分離する。位置推定のための新しいルーティングアルゴリズムと、運動移行のためのパラメータ化されたアフィン変換ネットワークを導入することで、運動予測の能力を新しいデータセットに転送可能にし、運動モデルの再トレーニングなしに異なるデータセット間での運動モデリングの転送性を実現する。

ABSTRACT

Inspired by CapsNet's routing-by-agreement mechanism, with its ability to learn object properties, and by center-of-mass calculations from physics, we propose a CapsNet architecture with object coordinate atoms and an LSTM network for evaluation. The first is based on CapsNet but uses a new routing algorithm to find the objects' approximate positions in the image coordinate system, and the second is a parameterized affine transformation network that can predict future positions from past positions by learning the translation transformation from 2D object coordinates generated from the first network. We demonstrate the learned translation transformation is transferable to another dataset without the need to train the transformation network again. Only the CapsNet needs training on the new dataset. As a result, our work shows that object recognition and motion prediction can be separated, and that motion prediction can be transferred to another dataset with different object types.

研究の動機と目的

• 視覚理解タスクにおける物体の局所化と運動予測を効果的に分離すること。
• 運動予測の能力を新しいデータセットに再トレーニングせずに転送可能にすること。
• 物理的インスピレーションを受ける重心計算とルーティングによる一致を活用し、より良い物体位置推定を実現すること。
• 2次元物体座標から移動ダイナミクスを学習するパラメータ化されたアフィン変換ネットワークを設計すること。

提案手法

• 画像座標系における物体位置推定のため、ルーティングによる一致の改良を用いた物体座標原子をCapsNet内に導入する。
• 空間的一致性に基づいて動的ルーティングを集約することで、位置精度を向上させる新しいルーティングアルゴリズムを採用する。
• 予測された2次元物体座標から時間的ダイナミクスをモデル化するため、別個のLSTMベースのネットワークを用いる。
• 過去の位置から将来の位置を予測するため、パラメータ化されたアフィン変換ネットワークを適用し、移動変換を学習する。
• 新しいデータセット上でCapsNetをトレーニングしながら、事前に学習済みの運動予測ネットワークの重みを固定することで、ゼロショットでの運動モデリングの転送を実現する。
• 座標原子を備えたCapsNetの出力と運動ネットワークの出力を統合し、同時に局所化と運動予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークにおいて、物体の局所化と運動予測を効果的に分離できるか？
• RQ2 あるデータセットでトレーニングされた運動予測ネットワークが、異なる物体タイプの別のデータセットに再トレーニングせずに転送可能か？
• RQ3 座標原子を備えたルーティングによる一致メカニズムは、画像座標系における物体の局所化精度をどの程度向上できるか？
• RQ4 学習された移動変換はどの程度異なるデータセット間で一般化するか？
• RQ5 パラメータ化されたアフィン変換ネットワークは、過去の座標から将来の物体位置を正確に予測できるか？

主な発見

• あるデータセットでトレーニングされた運動予測ネットワークは、再トレーニングなしに、異なる物体タイプを持つ別のデータセットに対しても正常に一般化する。
• 新しいデータセットに対しては、運動予測ヘッドを固定したままCapsNetのコンponentのみを再トレーニングすればよく、転送性が保証される。
• 座標原子を備えた提案されたルーティングアルゴリズムは、標準的なCapsNetルーティングに比べて物体位置推定の精度が向上する。
• パラメータ化されたアフィン変換ネットワークは2次元座標から一貫した移動ダイナミクスを学習し、正確な将来の位置予測を可能にする。
• 局所化と運動予測の分離により、最小限のファインチューニングで異なるデータセット間での効率的な転移学習が可能になる。
• 物体の種類や視覚的外観が著しく異なるデータセット間でも、運動モデリングの転送性が実証されている。