[論文レビュー] Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning

Supasorn Suwajanakorn, Noah Snavely+2 more|arXiv (Cornell University)|Jul 5, 2018

Human Pose and Action Recognition参考文献 55被引用数 132

ひとこと要約

本論文は KeypointNet を提案する。これは下流のポーズ推定タスクのために潜在的な3Dキーポイントと検出器のセットを学習するエンドツーエンドのフレームワークであり、ShapeNetの車、椅子、平面に対して教師付きのベースラインより優れたポーズ推定性能を示す。

ABSTRACT

This paper presents KeypointNet, an end-to-end geometric reasoning framework to learn an optimal set of category-specific 3D keypoints, along with their detectors. Given a single image, KeypointNet extracts 3D keypoints that are optimized for a downstream task. We demonstrate this framework on 3D pose estimation by proposing a differentiable objective that seeks the optimal set of keypoints for recovering the relative pose between two views of an object. Our model discovers geometrically and semantically consistent keypoints across viewing angles and instances of an object category. Importantly, we find that our end-to-end framework using no ground-truth keypoint annotations outperforms a fully supervised baseline using the same neural network architecture on the task of pose estimation. The discovered 3D keypoints on the car, chair, and plane categories of ShapeNet are visualized at http://keypointnet.github.io/.

研究の動機と目的

• ジオメトリックタスクへ下流最適化された最小限かつカテゴリ特有の3Dキーポイントセットを直接学習する動機付け。
• キーポイント検出器とその3D座標を jointly 学習するエンドツーエンドの枠組みを提案。
• ビュー間およびオブジェクトインスタンス間で幾何学的に一貫したキーポイントを促進。
• 潜在キーポイントが相対的なポーズ推定で教師付きキーポイントを上回ることを実証。

提案手法

• マルチビュー整合性損失と相対ポーズ推定損失を用いたエンドツーエンド目的関数を定義。
• 平行移動対称ネットワークと空間的ソフトマックスおよび深度予測を用いて単一画像から3Dキーポイント(u,v,z)を予測。
• 2つの視点を整列させポーズ誤差を計算するために differentiable Procrustes(SVD)でキーポイントを最適化。
• 象限分離損失とシルエット整合性項を用いてシルエット内に分布が良好で内在的なキーポイントを確保。
• 対称物体間での対称性を破りキーポイント割り当てを安定化させるために回転情報をエンコード。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習された潜在的な3Dキーポイントは、ポーズ推定における手動注釈付きキーポイントを上回るか。
• RQ2 マルチビュー整合性と微分可能なポーズ目的関数は、オブジェクトインスタンス間で幾何学的に意味のある一貫したキーポイントを生み出すか。
• RQ3 ShapeNet のカテゴリ内で見知らぬ形状や視点に対して学習済みキーポイントはどの程度一般化するか。

主な発見

方法	車の平均	車の中央値	車 3D-SE	平面の平均	平面の中央値	平面 3D-SE	椅子の平均	椅子の中央値	椅子 3D-SE
a) 監督付き	16.268	5.583	0.240	18.350	7.168	0.233	21.882	8.771	0.269
b) 方向性フラグ付きの監督付き	13.961	4.475	0.197	17.800	6.802	0.230	20.502	8.261	0.248
c) 我々の事前学習済み方向付け付き	13.500	4.418	0.165	18.561	6.407	0.223	14.238	5.607	0.203
d) 我々の方法	11.310	3.372	0.171	17.330	5.721	0.230	14.572	5.420	0.196

• KeypointNet は車輪やコックピット、翼、椅子の脚など、幾何学的・意味的に有意義な3Dキーポイントを学習する。
• 教師なしのエンドツーエンド手法は相対3Dポーズ推定で教師ありベースラインを上回る。
• キーポイントは視点間および見知らぬインスタンス間で一貫性があり、深度を明示的な深度監督なしで推定できる。
• 方向予測は性能を補助し、遮蔽があってもキーポイントは視点間で一貫性を保つ。
• 本手法は ShapeNet の車・椅子・平面へ一般化し、広い視点変換に対しても頑健である。