[論文レビュー] MobilePose: Real-Time Pose Estimation for Unseen Objects with Weak Shape Supervision

Tingbo Hou, Adel Ahmadyan+3 more|arXiv (Cornell University)|Mar 7, 2020

Robotics and Sensor-Based Localization参考文献 31被引用数 27

ひとこと要約

MobilePoseは、モバイルデバイス上でRGB画像から未学習の物体の3次元ポーズ推定をリアルタイムで行う2つの軽量で高速なニューラルネットワーク—MobilePose-BaseおよびMobilePose-Shape—を提案する。弱い形状の教師信号（例：セグメンテーションマップや座標マップ）を中間特徴学習ステップとして統合することで、CADモデルや深度センサを必要とせず、ポーズ推定の精度を向上させる。モバイルデバイス上で36 FPSを達成し、従来の1ショット手法の2–3%のモデルサイズにまで削減した。

ABSTRACT

In this paper, we address the problem of detecting unseen objects from RGB images and estimating their poses in 3D. We propose two mobile friendly networks: MobilePose-Base and MobilePose-Shape. The former is used when there is only pose supervision, and the latter is for the case when shape supervision is available, even a weak one. We revisit shape features used in previous methods, including segmentation and coordinate map. We explain when and why pixel-level shape supervision can improve pose estimation. Consequently, we add shape prediction as an intermediate layer in the MobilePose-Shape, and let the network learn pose from shape. Our models are trained on mixed real and synthetic data, with weak and noisy shape supervision. They are ultra lightweight that can run in real-time on modern mobile devices (e.g. 36 FPS on Galaxy S20). Comparing with previous single-shot solutions, our method has higher accuracy, while using a significantly smaller model (2~3% in model size or number of parameters).

研究の動機と目的

• 物体の識別情報が事前に分かっていない状態でも、モバイルデバイス上でRGB画像から未学習の物体のリアルタイム3次元ポーズ推定を可能にすること。
• 弱い教師付きの形状特徴（例：セグメンテーション、座標マップ）が、リソース制限のある環境下でポーズ推定精度をどのように向上させるかを調査すること。
• 30 FPS以上を達成しながらも高い精度を維持できる、超軽量なネットワークを設計すること。
• 推論時における深度センサやCADモデルへの依存を排除し、標準スマートフォンでも実装可能にする。
• AR やロボティクスなどの実世界の応用事例を想定し、RGB入力のみでエンドツーエンドのモバイルデプロイメントを実証すること。

提案手法

• リアルタイムのモバイルデバイス推論に最適化された最小限のモデルサイズを持つ、1ショットでアンカーフリーな3次元物体検出およびポーズ推定ネットワークであるMobilePose-Baseを提案する。
• 形状予測（セグメンテーションと座標マップ）を中間層として挿入することで、高解像度特徴からのポーズ学習をガイドするMobilePose-Shapeを導入する。
• 弱くノイズの多い形状の教師信号を用いた合成データを活用して形状特徴を事前学習し、実世界の画像への転移を可能にする。
• MobileNetアーキテクチャに基づく軽量エンコーダーを採用し、チャネルおよびブロックのプルーニングを適用することで、モデルサイズを約50%削減しながらも性能を維持する。
• TFLiteとGPUデリゲートを活用して、モバイルGPU上で効率的な推論を実現し、後処理のオーバーヘッドを最小限に抑える。
• 微分可能デコーダーを用い、投影された3次元バウンディングボックスの頂点を回帰することで6次元ポーズ（回転、平行移動、スケーリング）を推定する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いセグメンテーションや座標マップといった弱い教師付き形状特徴を中間教師信号として用いることで、3次元ポーズ推定の精度が向上するか？
• RQ2 ポーズ推定のための特徴学習を、後処理段階ではなくネットワークアーキテクチャ内に統合することで、未学習の物体に対してどのように向上するか？
• RQ3 合成データで学習した超軽量モデルが、リアルタイムでモバイルデバイス上で実世界の未学習物体にどれほど一般化できるか？
• RQ4 中間段階での形状教師信号が、限られた教師信号のもとでも低解像度特徴マップにおける特徴学習を改善し、ポーズ推定精度を向上させるか？
• RQ5 モバイル最適化されたモデルは、従来の1ショット手法よりも高い精度を達成できるか？また、顕著に小型かつ高速化できるか？

主な発見

• MobilePose-Shapeは、カスタムシューズデータセットにおいてYOLO-SegやYOLO-6Dと比較して、3D IoU 0.5でのAPが10%高い性能を示し、モデルサイズはわずか18MBにとどまる。
• MobilePose-Baseは、Galaxy S20で36 FPSを達成し、16MBのモデルサイズで、従来の1ショット手法よりも3–12倍高速で、パラメータ数は2–3%にまで削減された。
• Linemodデータセットでは、MobilePoseがREP-5pxで98.92%、ADD-0.1dで42.70%を達成し、YOLO-6Dを両方の指標で上回った。
• Occlusionデータセットでは、MobilePoseがREP-5pxで95.9%、ADD-0.1dで29.0%を達成し、YOLO-Segの59.1%および12.1%を顕著に上回った。
• 座標マップの教師信号に50個のスキャン済みシューズとノイズの多いセグメンテーションラベルを用いても、合成データからの転移学習により未学習のシューズに対しても良好に一般化した。
• 形状特徴を中間層として統合することで、後処理段階での形状予測よりも、特に弱い教師信号のもとでもポーズ推定の精度向上が顕著に改善された。