[論文レビュー] Object Pose Estimation using Mid-level Visual Representations

Negar Nejatishahidin, Pooya Fayyazsanavi+1 more|arXiv (Cornell University)|Mar 2, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、事前学習された中レベルの視覚的表現—表面法線と再照明—を活用することで、最小限のラベル付きデータで一般化性能を向上させる、新しい6次元物体ポーズ推定手法を提案する。オブジェクトマスクとシルエット検索を用いて軽量CNNをファインチューニングすることで、Pix3Dデータセットの25%のデータでの学習でも、先行研究に比べて35%高い精度を達成し、挑戦的なActive Vision Dataset (AVD) においても強力なゼロショット転送性能を示す。

ABSTRACT

This work proposes a novel pose estimation model for object categories that can be effectively transferred to previously unseen environments. The deep convolutional network models (CNN) for pose estimation are typically trained and evaluated on datasets specifically curated for object detection, pose estimation, or 3D reconstruction, which requires large amounts of training data. In this work, we propose a model for pose estimation that can be trained with small amount of data and is built on the top of generic mid-level representations \cite{taskonomy2018} (e.g. surface normal estimation and re-shading). These representations are trained on a large dataset without requiring pose and object annotations. Later on, the predictions are refined with a small CNN neural network that exploits object masks and silhouette retrieval. The presented approach achieves superior performance on the Pix3D dataset \cite{pix3d} and shows nearly 35\% improvement over the existing models when only 25\% of the training data is available. We show that the approach is favorable when it comes to generalization and transfer to novel environments. Towards this end, we introduce a new pose estimation benchmark for commonly encountered furniture categories on challenging Active Vision Dataset \cite{Ammirato2017ADF} and evaluated the models trained on the Pix3D dataset.

研究の動機と目的

• 未確認の環境に展開された際の深層学習ベースの6次元物体ポーズ推定における一般化性能の低さという課題に対処すること。
• ポーズアノテーションが付与された大規模データセットへの依存を減らすために、プロキシタスクで事前学習された汎用の中レベル表現を活用すること。
• オブジェクトマスクとシルエット検索を用いたリファインメント段階と組み合わせることで、最小限の監督情報で効果的なポーズ推定を可能にすること。
• Active Vision Dataset (AVD) を用いて、ゼロショット転送性能を評価するための、現実世界の挑戦的な屋内環境における新しいベンチマークを確立すること。

提案手法

• ポーズやオブジェクトアノテーションなしで、大規模データセット上で中レベル表現ネットワーク（表面法線推定および再照明）を事前学習する。
• 事前学習済みの中レベル特徴をポーズ推定のバックボーンとして使用し、生ピクセルからエンドツーエンドで訓練するのを回避する。
• オブジェクトマスクとシルエットマップのみを監視情報として用いて、中レベル特徴の上に軽量CNNをファインチューニングする。
• 予測されたシルエットと真値シルエットの間の類似度を活用したリtrievalベースのリファインメント段階を実装し、ポーズ分類の精度を向上させる。
• 2段階のアプローチでパイプラインを訓練する：まず中レベル特徴を抽出し、次に分類器が離散的な方位角および仰角のビンを予測する。
• Pix3Dで学習したモデルをAVDデータセットに直接テストすることで、ゼロショット転送を評価する（適応やファインチューニングなし）。

Figure 1 : Active Vision Dataset [ 1 ] pose estimation benchmark challenges; many objects are highly occluded (e.g. the first two rows), large lighting variations, glassy objects (the third row), and truncated viewpoints (last row). These challenges affect both computation of mid-level representatio

実験結果

リサーチクエスチョン

• RQ1 プロキシタスク（例：表面法線推定、再照明）で事前学習された中レベル視覚的表現が、6次元物体ポーズ推定に効果的で一般化可能な特徴として機能できるか？
• RQ2 オブジェクトマスクとシルエットのみで学習された軽量リファインメントネットワークが、ポーズ推定の精度をどの程度向上できるか？
• RQ3 特に学習データの25%しか利用できないような低データ環境下で、本手法はどの程度の性能を示すか？
• RQ4 オクルージョン、照明の変動、切断された視点といった困難な条件を伴う新しい現実世界の環境に対し、モデルは効果的に一般化できるか？

主な発見

• 本手法は、Pix3D学習データの25%での学習でも、既存のモデルに比べて35%高い精度を達成し、高いデータ効率性を示している。
• Pix3Dデータセットにおいて、Mousavianら[17] よりも優れた性能を示し、特に1.5°のオーバーラップを持つ13ビン設定では、Pix3Dベースラインを上回っている。
• AVDベンチマークでは46.22%の平均精度を達成し、ResNet_baseline よりも10.56ポイント高い結果を示しており、強力なゼロショット一般化性能を確認した。
• オブジェクトマスクの品質に著しく影響を受けており、重度にオクルージョンされたか、切断された視点では性能が低下している。
• シルエット検索を用いたリファインメント段階が、中レベル特徴ベースのモデルに比べて性能を向上させ、2段階設計の有効性を裏付けた。
• 本手法は、このデータで学習していないにもかかわらず、Active Vision Dataset で優れた性能を示しており、新しい環境への一般化が良好に行われていることが裏付けられた。

Figure 2 : Network Architecture. First stage: up-sampled and fused mid-level feature maps (not the actual normal and re-shading images) are used to predict azimuth and elevation. Second stage: The object mask and mid-level features are compared with the top three object D-masks corresponding to most