[論文レビュー] Straight to Shapes: Real-time Detection of Encoded Shapes

Saumya Jetley, Michael Sapienza+2 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 34被引用数 5

ひとこと要約

本稿では、学習されたコン pact で解釈可能な形状埋め込み空間を用いて、オブジェクトの形状、カテゴリ、バウンディングボックスを直接回帰するリアルタイムのディープラーニングフレームワークを提案する。1スイープのエンドツーエンドネットワークをノイズ除去オートエンコーダーで訓練することで形状を埋め込み、高スペックデスクトップ上で35 FPSを達成し、形状の類似性を活用することで未学習カテゴリにも一般化可能であり、ゼロショット形状検出において最先端のインスタンスセグメンテーションを上回る。

ABSTRACT

Current object detection approaches predict bounding boxes, but these provide little instance-specific information beyond location, scale and aspect ratio. In this work, we propose to directly regress to objects' shapes in addition to their bounding boxes and categories. It is crucial to find an appropriate shape representation that is compact and decodable, and in which objects can be compared for higher-order concepts such as view similarity, pose variation and occlusion. To achieve this, we use a denoising convolutional auto-encoder to establish an embedding space, and place the decoder after a fast end-to-end network trained to regress directly to the encoded shape vectors. This yields what to the best of our knowledge is the first real-time shape prediction network, running at ~35 FPS on a high-end desktop. With higher-order shape reasoning well-integrated into the network pipeline, the network shows the useful practical quality of generalising to unseen categories similar to the ones in the training set, something that most existing approaches fail to handle.

研究の動機と目的

• バウンディングボックス検出が提供する形状情報が最小限であるという制限を克服し、オブジェクトの形状への直接回帰を可能にする。
• 形状の比較やポーズ、隠蔽、類似性に関する推論を可能にする、コン pact で解釈可能で連続的な形状埋め込み空間を構築する。
• 学習された埋め込み空間における形状の類似性を活用して、未学習のオブジェクトカテゴリへのゼロショット一般化を実現する。
• 既存のトップダウン/ボトムアップパイプラインにおける逐次的誤差蓄積を克服し、形状予測においてリアルタイム性能（35 FPS）を達成する。
• 形状推論を検出パイプラインに直接統合し、重なっているか、小さなインスタンスのマスク精度を向上させる。

提案手法

• バイナリインスタンスマスク上で訓練されたノイズ除去畳み込みオートエンコーダーを用いて、低次元でコン pact かつ解釈可能な形状埋め込み空間を学習する。
• オートエンコーダーのデコーダーを、画像パッチから形状ベクトルを直接回帰する高速なエンドツーエンドディープ畳み込みネットワークに統合する。
• カテゴリ、バウンディングボックス、形状埋め込みベクトルを同時に回帰するための統合損失関数を用いてエンドツーエンドで訓練する。
• 形状埋め込み空間は連続的かつ解釈可能に設計されており、滑らかな劣化と形状間の意味的な比較を可能にする。
• アーキテクチャは1回の順伝播（逐次的後処理なし）で実行され、高スペックデスクトップ上で35 FPSのリアルタイム推論を実現する。
• 本手法はPASCAL VOCおよびMS-COCOで評価され、ゼロショット一般化はトレーニングセットに含まれない60の未学習COCOカテゴリでテストされた。

実験結果

リサーチクエスチョン

• RQ1 1回の順伝播でオブジェクトの形状、カテゴリ、バウンディングボックスを直接回帰できるディープネットワークを訓練可能であり、リアルタイム性能を達成できるか？
• RQ2 学習されたコン pact な形状埋め込み空間は、類似した形状を持つ未学習のオブジェクトカテゴリへのゼロショット一般化にどの程度効果的か？
• RQ3 明示的な属性定義なしで、形状埋め込みがポーズの変化、隠蔽、ビューの類似性といった高次元の推論を可能にするか？
• RQ4 検出・セグメンテーション・分類を組み合わせた逐次パイプラインと比較して、直接的な形状回帰は精度と頑健性において優れているか？
• RQ5 形状ベースの一般化は、未学習のオブジェクトクラスにおける誤ったカテゴリ予測をどの程度補うことができるか？

主な発見

• 提案手法は、高スペックデスクトップ上で35 FPSを達成し、著者らの知る限り、最初のリアルタイム形状予測ネットワークである。
• PASCAL SBD 2012のバリデーションセットでは、50次元の形状埋め込みモデルがmAP r @.5で30.5を達成し、バイナリマスクおよびラジアルベクトルベースラインを上回った。
• 20次元の形状埋め込みバージョンでも31.5 mAP r @.5を達成し、小さな埋め込み空間でも強力な性能を維持していることが示された。
• 8,037枚のMS-COCO画像（60の未学習カテゴリ）におけるゼロショットセグメンテーションでは、50次元埋め込みモデルが大規模オブジェクトで7.1 mAP r @.5を達成し、強力なベースラインを確立した。
• ネットワークは効果的に一般化している：未学習の動物（たとえばトラやクマ）は「犬」と分類されるが、妥当な形状マスクが得られ、頑健な形状推論が可能であることが示された。
• 特に重なっているか、小さなインスタンスや未学習カテゴリを扱う際、最先端のインスタンスセグメンテーションモデルを上回った。