[論文レビュー] Fiducial Exoskeletons: Image-Centric Robot State Estimation

Cameron Smith, Basile Van Hoorick+2 more|arXiv (Cornell University)|Jan 12, 2026

Prosthetics and Rehabilitation Robotics被引用数 0

ひとこと要約

この論文は Fiducial Exoskeletons を導入し、単一の RGB 画像からリンクごとに 6D 姿勢を推定することで、反復的な較正なしに基底姿勢・関節角・較正を直接取得し、低コストのロボットアームの状態推定と制御を改善します。

ABSTRACT

We introduce Fiducial Exoskeletons, an image-based reformulation of 3D robot state estimation that replaces cumbersome procedures and motor-centric pipelines with single-image inference. Traditional approaches - especially robot-camera extrinsic estimation - often rely on high-precision actuators and require time-consuming routines such as hand-eye calibration. In contrast, modern learning-based robot control is increasingly trained and deployed from RGB observations on lower-cost hardware. Our key insight is twofold. First, we cast robot state estimation as 6D pose estimation of each link from a single RGB image: the robot-camera base transform is obtained directly as the estimated base-link pose, and the joint state is recovered via a lightweight global optimization that enforces kinematic consistency with the observed link poses (optionally warm-started with encoder readings). Second, we make per-link 6D pose estimation robust and simple - even without learning - by introducing the fiducial exoskeleton: a lightweight 3D-printed mount with a fiducial marker on each link and known marker-link geometry. This design yields robust camera-robot extrinsics, per-link SE(3) poses, and joint-angle state from a single image, enabling robust state estimation even on unplugged robots. Demonstrated on a low-cost robot arm, fiducial exoskeletons substantially simplify setup while improving calibration, state accuracy, and downstream 3D control performance. We release code and printable hardware designs to enable further algorithm-hardware co-design.

研究の動機と目的

• 低コストのハードウェアで正確なモータやエンコーダ読み取りへの依存を減らして堅牢な 3D ロボット状態推定を動機づける。
• 単一 RGB 画像からリンクごとに 6D 姿勢推定へ状態推定を再定式化する。
• 易しくリンクごとの姿勢推定とカメラ-ロボット外部姿勢を可能にする fiducial exoskeletons を導入する。
• 視覚ベースの推定が低コストロボットアームのエンドエフェクタ状態の精度と制御を向上させることを示す。

提案手法

• ニ拡張されたフォワード運動学ポーズと観測されたリンクごとの 6D 姿勢を整合させる非線形最適化として関節状態推定を定式化する。
• 既知のマーカ-リンク幾何を提供する fiducial exoskeletons を用いて、単一 RGB 画像から各リンクの 6D 姿勢を推定する。
• ベースマーカの姿勢からロボット基底姿勢（カメラ外部姿勢）を直接計算する。
• エンコーダ読取りを用いたウォームスタートで関節状態最適化を初期化し、視覚ベースのデルタ補正で制御を精練する。
• 最適化された関節と生のエンコーダ読取りを比較してロボットオフセットを較正する。

実験結果

リサーチクエスチョン

• RQ1 単一の RGB 画像でリンクごとに fiducial マーカーを取り付けることで全リンクの 6D 姿勢を正確に得られるか。
• RQ2 リンク姿勢に対するグローバル最適化が反復的な手-eye 較正なしで正確な関節角度と基底-カメラ外部姿勢を回復できるか。
• RQ3 fiducial exoskeletons は部分的なマーカ Occlusion や低コストロボットで頑健な状態推定を可能にするか。
• RQ4 視覚ベースの状態推定はエンコーダベースの前方運動学と比べて 3D 制御の精度を向上させるか。

主な発見

Scenario	Mask IoU ↑	Eff. Trans ↓	Eff. Rot ↓
State Estimation: Ours Enc.	.85	.06	.27
State Estimation: Ours No-Enc.	.84	.07	.35
State Estimation: Just Enc.	.78	.18	1.1
Control: Ours w/ Delta	.79	.21	2.6
Control: Ours w/o Delta	.78	.22	2.8
Control: Naive Move	.63	.37	3.8

• fiducial exoskeletons は raw encoders を用いた前方運動学よりはるかに高い精度で低コストの 6-DoF アームの状態推定と制御を可能にする。
• 100 ドルのロボットアームでは FidEx はエンドエフェクタの状態推定と制御誤差をそれぞれ約 75% および 45% 減少させる。
• fiducial ベースの推定は微分レンダリング方式（例: Dr. Robot）より圧倒的に高速で、実行時間が 2 桁以上高速、関節姿勢・カメラ姿勢の誤差も大幅に低い。
• 部分的なマーカー Occlusion 下でも状態推定は頑健で、1つのマーカー のみが見える場合でも強い性能を示す。
• この手法は単一画像からロボット-カメラ外部姿勢とロボット較正を直接推定可能で、従来のハンド-アイ較正を必要としない。