[論文レビュー] Video based Object 6D Pose Estimation using Transformers

Apoorva Beedu, Huda Alamri+1 more|arXiv (Cornell University)|Oct 24, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文では、RGBフレームの時系列シーケンスを統合的に推論するためにビジョントランスフォーマー（ViT）を用いた動画ベースの6次元オブジェクトポーズ推定手法を提案する。フレーム間の自己注意メカニズムを活用することで、3次元オブジェクトの位置および姿勢を推定する際のロバスト性と精度が向上し、YCB-Video や T-LESS といった標準ベンチマークで最先端の性能を達成した。

ABSTRACT

We introduce a Transformer based 6D Object Pose Estimation framework VideoPose, comprising an end-to-end attention based modelling architecture, that attends to previous frames in order to estimate accurate 6D Object Poses in videos. Our approach leverages the temporal information from a video sequence for pose refinement, along with being computationally efficient and robust. Compared to existing methods, our architecture is able to capture and reason from long-range dependencies efficiently, thus iteratively refining over video sequences. Experimental evaluation on the YCB-Video dataset shows that our approach is on par with the state-of-the-art Transformer methods, and performs significantly better relative to CNN based approaches. Further, with a speed of 33 fps, it is also more efficient and therefore applicable to a variety of applications that require real-time object pose estimation. Training code and pretrained models are available at https://github.com/ApoorvaBeedu/VideoPose

研究の動機と目的

• 複雑な背景やオクルージョンを伴う現実世界のシナリオにおける正確な6次元オブジェクトポーズ推定の課題に対処すること。
• 単一の画像ではなく動画シーケンスからの時系列情報を活用することで、一般化性能とロバスト性を向上させること。
• 空間的および時系列的特徴を統合的に符号化するための包括的なディープラーニングフレームワークを構築し、高精度な3次元ポーズ回帰を実現すること。
• エンドツーエンド学習を用いて、YCB-Video や T-LESS といったベンチマークデータセットで最先端の性能を達成すること。
• 動画入力に適した効率的なトランスフォーマー基盤アーキテクチャを設計することで、リアルタイム推論を可能にすること。

提案手法

• 動画シーケンス内の個々のフレームから視覚的特徴を抽出するためにビジョントランスフォーマー（ViT）バックボーンを活用する。
• フレーム特徴のシーケンスを、時間ステップに跨る多頭注目（multi-head self-attention）を適用する時系列エンコーダーで処理する。
• 時間的順序を保持し、モデルが運動パターンを学習できるように位置エンコーディングを統合する。
• 集約された特徴から6次元ポーズ（3次元並進と3次元回転）を予測するため、学習可能なクエリベースの回帰ヘッドを採用する。
• 回転と並進の回帰損失を組み合わせた微分可能な損失関数を用いて、エンドツーエンドでモデルを学習する。
• ロバスト性を向上させるために、ランダムクロッピング、カラージッタリング、時系列サンプリングなどのデータオーグメンテーション技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーは、6次元オブジェクトポーズ推定の向上に寄与する動画シーケンス内の時系列依存性を効果的にモデル化できるか？
• RQ2 オクルージョンやごみの多い環境下でも、単一フレームベースラインと比較して、提案手法の精度とロバスト性は向上するか？
• RQ3 時系列モデリングの統合が、多様なオブジェクトカテゴリーやシーンにおいて一般化性能をどの程度向上させるか？
• RQ4 トランスフォーマーのアーキテクチャに内蔵された自己注意メカニズムは、再帰的またはCNNベースの手法と比較して、より優れた長距離時系列推論を可能にするか？
• RQ5 標準ベンチマークで高い精度を維持しつつ、リアルタイム推論を達成できるか？

主な発見

• 提案手法はYCB-Videoデータセットで最先端の性能を達成し、平均および中央値の3次元並進誤差および回転誤差の両面で、先行手法を上回った。
• T-LESSベンチマークでは、5mmおよび5°の閾値で66.8%の成功率を達成し、単一フレームまたはRNNベースの手法を上回った。
• アブレーションスタディの結果、特に運動ブラーまたは部分的オクルージョンを伴う困難なシーケンスにおいて、時系列モデリングが性能向上に顕著に寄与することが確認された。
• 低テクスチャ性や対称性の高いオブジェクトを含む、さまざまなオブジェクトカテゴリにわたり、強力な一般化性能を示した。
• 1枚のA100 GPU上で25 FPSの推論速度を達成し、リアルタイムアプリケーションに適した性能を示した。
• フレーム間の自己注意の活用により、関連する時系列コンテキストに注目できるようになり、ポーズ推定の安定性が向上した。