[論文レビュー] ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis

Kailin Li, Lixin Yang+5 more|arXiv (Cornell University)|Sep 12, 2021

Robot Manipulation and Learning参考文献 47被引用数 4

ひとこと要約

ArtiBoostは、合成された手・物体の配置と視点（CCV）空間内で動的に多様な手・物体の配置を探索・合成することで、3次元手・物体ポーズ推定を向上させるオンラインデータ拡張フレームワークを提案する。繰り返し、識別が難しいトリプレットをサンプリングし、モデルの損失フィードバックに基づいて再重み付けすることで、トレーニングデータの多様性とモデルの一般化性能が向上し、単純なベースラインネットワークを用いてもHO3DおよびDexYCBベンチマークで最先端の性能を達成する。

ABSTRACT

Estimating the articulated 3D hand-object pose from a single RGB image is a highly ambiguous and challenging problem, requiring large-scale datasets that contain diverse hand poses, object types, and camera viewpoints. Most real-world datasets lack these diversities. In contrast, data synthesis can easily ensure those diversities separately. However, constructing both valid and diverse hand-object interactions and efficiently learning from the vast synthetic data is still challenging. To address the above issues, we propose ArtiBoost, a lightweight online data enhancement method. ArtiBoost can cover diverse hand-object poses and camera viewpoints through sampling in a Composited hand-object Configuration and Viewpoint space (CCV-space) and can adaptively enrich the current hard-discernable items by loss-feedback and sample re-weighting. ArtiBoost alternatively performs data exploration and synthesis within a learning pipeline, and those synthetic data are blended into real-world source data for training. We apply ArtiBoost on a simple learning baseline network and witness the performance boost on several hand-object benchmarks. Our models and code are available at https://github.com/lixiny/ArtiBoost.

研究の動機と目的

• アーティキュレートな3次元手・物体ポーズ推定（HOPE）のための実世界データセットにおける多様性の不足、特にポーズ、物体、視点の変動が不十分であるという課題に対処すること。
• オフラインなデータ合成の非効率性を克服し、識別が難しいサンプルに焦点を当てた適応的でオンラインなデータ拡張を可能にすること。
• データの探索とモデル学習の間の継続的相互作用を通じて、モデルに依存しない方法でHOPEの性能を向上させること。
• 構造的なCCV空間内で多様で物理的に妥当な手・物体のインタラクションを合成することで、ポーズ推定の正確性が顕著に向上することを示すこと。

提案手法

• 手・物体のインタラクションを体系的に表現するため、物体タイプ、手ポーズ、カメラの視点をパrameter化した3次元の離散的空間であるCCV空間を導入する。
• 接触制約をMANO手の頂点と物体の表面に課すフィッティングベースのグリップ合成法を用い、CCV空間内に妥当で現実的な手・物体の配置を生成する。
• ArtiBoostは、CCV空間からのトリプレットのサンプリング（探索）と、サンプルされた視点からの画像のレンダリング（合成）を交互に実行し、トレーニングバッチに合成データと実データを融合する。
• HOPEモデルの損失フィードバックを用いて、次回のラウンドで識別が難しい配置を優先するように、サンプリング確率を再重み付けする。
• フレームワークはモデルに依存せず、分類型および回帰型の両方のCNNベースのポーズ推定アーキテクチャに統合可能である。
• レンダラが微分可能でないため、CCV空間内での効率的かつスケーラブルなサンプリングを可能にする、ルックアップテーブルベースの探索戦略が用いられる。

実験結果

リサーチクエスチョン

• RQ1 構造的なCCV空間内でオンラインで損失に従ってデータを探索することで、3次元手・物体ポーズ推定モデルの一般化性能が向上するか？
• RQ2 CCV空間内で多様で物理的に妥当な手・物体のインタラクションを合成することで、従来のオフライン合成手法よりも高い性能が得られるか？
• RQ3 軽量でモデルに依存しないデータ拡張フレームワークが、アーキテクチャの変更なしに最先端の手法を上回る性能を発揮できるか？
• RQ4 オンラインでの合成データ拡張と組み合わせた場合、実世界のラベル付きデータへの依存を減らすことで、モデル性能がどの程度向上するか？

主な発見

• YCBAffordから得た従来の合成データと比較して、CCV空間内で生成されたArtiBoostの合成データで学習したモデルが優れた性能を示し、CCV空間の多様性と妥当性の優位性を実証した。
• DexYCBベンチマーク上で、ArtiBoostのオンライン再重み付け戦略がオフラインのサンプリング方式よりも収束が速く、性能が優れていることが示された。
• 元のHO3Dトレーニングデータの10％に加え、ArtiBoostの合成データを100％使用した場合、実データを100％使用した場合よりも優れた性能を達成した。
• カメラ空間のHOPEフレームワーク（Hassonら）に移植した場合、ArtiBoostはカメラ空間およびワrist相対システムの両方のMPJPEを含むすべての指標を顕著に向上させた。
• 分類型および回帰型のシンプルなベースラインを用いても、ArtiBoostはHO3D（v1-v3）およびDexYCBベンチマークで、以前の最先端手法を上回る性能を達成した。