[論文レビュー] FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation

Yisheng He, Haibin Huang+3 more|arXiv (Cornell University)|Mar 3, 2021

Robot Manipulation and Learning参考文献 68被引用数 13

ひとこと要約

FFB6Dは、単一のRGBD画像から外観と幾何の表現を共同で学習するフルフロー双方向融合ネットワークを提案する。RGBと深度の別々のネットワークの各エンコーディングおよびデコーディング層で特徴を統合し、SIFT-FPSキーポイント選択法を用いることで、後処理を伴わずYCB-Video、LineMOD、Occlusion LineMODベンチマークで最先端の性能を達成した。

ABSTRACT

In this work, we present FFB6D, a Full Flow Bidirectional fusion network designed for 6D pose estimation from a single RGBD image. Our key insight is that appearance information in the RGB image and geometry information from the depth image are two complementary data sources, and it still remains unknown how to fully leverage them. Towards this end, we propose FFB6D, which learns to combine appearance and geometry information for representation learning as well as output representation selection. Specifically, at the representation learning stage, we build bidirectional fusion modules in the full flow of the two networks, where fusion is applied to each encoding and decoding layer. In this way, the two networks can leverage local and global complementary information from the other one to obtain better representations. Moreover, at the output representation stage, we designed a simple but effective 3D keypoints selection algorithm considering the texture and geometry information of objects, which simplifies keypoint localization for precise pose estimation. Experimental results show that our method outperforms the state-of-the-art by large margins on several benchmarks. Code and video are available at \url{https://github.com/ethnhe/FFB6D.git}.

研究の動機と目的

• 遮蔽、テクスチャレスな表面、反射性素材の下での6次元物体姿勢推定の課題に対処すること。
• ネットワーク全体のフローにわたり、外観（RGB）と幾何（深度）情報を完全に統合することで表現学習を向上させること。
• ICPの修正などの時間のかかる後処理ステップに依存しないようにすること。
• より良い局在化を実現するため、テクスチャと幾何的特徴を併用した堅牢な3次元キーポイント選択法の開発。

提案手法

• 別々のRGBおよび深度ストリームネットワークの各エンコーディングおよびデコーディング層に、統合モジュールを適用するフルフロー双方向統合機構を導入する。
• デュアルブランチアーキテクチャを採用：一方のブランチはResNet34-PSPNetを用いてRGB画像を処理し、もう一方のブランチは3次元点群（XYZ + 法線マップ）をRandLA-Netまたは3D CNNsで処理する。
• 各層で双方向特徴統合を適用し、外観ブランチと幾何ブランチの間で局所的およびグローバル表現が相互に強化されるようにする。
• テクスチャと幾何的特徴に基づいて顕著な3次元キーポイントを選択するSIFT-FPSアルゴリズムを提案し、局在化精度を向上させる。
• 予測された3次元キーポイント座標とその2次元投影を用いて6次元姿勢推定を実行するPVN3Dスタイルのパイプラインを採用する。
• ICPや他の後処理ステップを伴わないエンドツーエンドの学習を採用し、リアルタイム推論と姿勢予測の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 デュアルストリームネットワークの各層で双方向統合を適用することで、特徴の連結や遅延統合を上回る6次元姿勢推定の性能向上が達成できるか？
• RQ2 外観と幾何の表現を共同で学習することで、遮蔽や反射性表面に対する耐性がどのように向上するか？
• RQ3 距離に基づく選択とは異なり、テクスチャと幾何的情報を統合したキーポイント選択戦略が、優れた性能を発揮できるか？
• RQ4 フルフローフュージョンは、遮蔽や複雑な環境下で、独立したRGBまたは深度処理よりも優れた性能を発揮するか？
• RQ5 完全にエンドツーエンドのネットワークは、ICPや他の後処理ステップを必要とせずにSOTA性能を達成できるか？

主な発見

• YCB-Videoデータセットにおいて、ADD-0.1d評価指標で99.7%の平均平均精度を達成し、従来のSOTA手法を上回った。
• Occlusion-LineMODデータセットでは、66.2%の平均ADD-0.1dスコアを達成し、PVN3D（63.2%）や他の最先端手法を上回った。
• LineMODデータセットでは、98.7%の平均精度を達成し、PVN3D（94.3%）やDenseFusionベースの手法を著しく上回った。
• SIFT-FPSキーポイント選択法は、強力なテクスチャと幾何的構造を持つ顕著な領域を優遇することで、キーポイントの局在化精度を向上させた。
• 定性的な結果から、FFB6Dは遮蔽や反射性物体の処理において、PVN3D や DenseFusion よりもより頑健であることが示された。
• アブレーションスタディの結果、フルフローダイレクト統合は、早期統合や遅延統合戦略に比べて優れた性能を発揮することが確認された。