[論文レビュー] Estimating Small Differences in Car-Pose from Orbits

Berkay Kicanaoglu, Ran Tao+1 more|arXiv (Cornell University)|Sep 3, 2018

3D Shape Modeling and Analysis被引用数 3

ひとこと要約

本論文では、潜在空間におけるオブジェクトビューの軌道を生成・比較することで、車両の微小なポーズ差を推定する群論的手法を提案する。同手法は、等変性で、完全に分解不能な表現を通じて相対ポーズ差を学習し、特に近接・対称的ポーズの区別に優れた性能を示し、挑戦的なポーズ推定ベンチマークで最先端の性能を達成した。

ABSTRACT

Distinction among nearby poses and among symmetries of an object is challenging. In this paper, we propose a unified, group-theoretic approach to tackle both. Different from existing works which directly predict absolute pose, our method measures the pose of an object relative to another pose, i.e., the pose difference. The proposed method generates the complete orbit of an object from a single view of the object with respect to the subgroup of SO(3) of rotations around the z-axis, and compares the orbit of the object with another orbit using a novel orbit metric to estimate the pose difference. The generated orbit in the latent space records all the differences in pose in the original observational space, and as a result, the method is capable of finding subtle differences in pose. We demonstrate the effectiveness of the proposed method on cars, where identifying the subtle pose differences is vital.

研究の動機と目的

• 交通状況において安全性に影響を及ぼす可能性がある微小なポーズ差や対称的ポーズの区別が困難である問題に取り組むこと。
• 視点間の微細な相対的変化を捉えられない、絶対的ポーズ推定手法の限界を克服すること。
• 軌道ベースの表現を通じて、近接ポーズと対称的ポーズの区別を統一的に相対差として扱うフレームワークを構築すること。
• 合成データと実データを活用することで、データ依存性を低減し、頑健なポーズ推定を実現すること。
• 従来の手法が回転対称性や微細な視覚的手がかりの欠如により苦戦する、凸形・チューブ状の車両形状のような難易度の高いケースでの性能向上を図ること。

提案手法

• SO(3)回転に従って、単一視点入力をz軸まわりに回転させることで、潜在空間におけるオブジェクトのすべての可能なビューを表す軌道を構築する。
• 幾何的関係を視点間で保持する等変性で、完全に分解不能で解釈可能な潜在表現を学習するための深層ニューラルネットワークを用いる。
• 2つのオブジェクトの軌道を比較し、それらの間の相対回転（ポーズ差）を推定するための新規な軌道メトリクスを導入する。
• 既知のポーズを持つ複数の視点を用いてネットワークを学習させ、単一視点入力への一般化を可能にする。
• 合成CADモデルと実画像を活用することで、データ要件を低減しつつ性能を維持する。
• 回転に対して一貫した変換を実現するネットワーク設計により、潜在空間におけるポーズ関係を保存する等変性を確保する。

実験結果

リサーチクエスチョン

• RQ1 統一的な群論的アプローチは、オブジェクト認識において微小なポーズ差や対称的ポーズを効果的に区別できるか？
• RQ2 軌道ベースの表現学習は、絶対的ポーズ回帰と比較して、微細なポーズ変化をどのように処理するか？
• RQ3 単一視点入力が、3次元空間におけるすべての相対的ポーズ関係を忠実に捉えることができる信頼性のある軌道を生成できるか？
• RQ4 提案された軌道メトリクスは、近接ポーズ（15°–30°誤差）および反対ポーズ（>165°誤差）の区別において、既存手法を上回ることができるか？
• RQ5 限られた実データを前提としても、特に対称的または凸形のオブジェクトに対して、本手法は実世界の車両画像に十分に一般化できるか？

主な発見

• EPFLデータセット（36ポーズビン）では54.0%の精度を達成し、DPM や Fisherベースの手法といった先行SOTA手法を上回った。
• PASCAL3D+の車両データに対しては、28.3%のAVP-24精度を記録し、同程度のネットワーク容量を持つDPMベースおよびCNNベースのベースラインを上回った。
• 比較対象のすべての手法の中で、最も低い近接ビュー誤差率（9.6%）を記録し、微小なポーズ差の区別能力に優れていることを示した。
• DPM や Hough Forestベースの手法を上回る相対的に低い反対ビュー誤差率（8.9%）を達成したが、キーポointアノテーションを一切使用していない。
• 可視化結果から、潜在空間における軌道が元の観測空間におけるポーズ変化を忠実に表現しており、等変性が相対ポーズ関係を保持していることが確認された。
• 従来の手法が回転対称性のため失敗するような、対称的または凸形の車両形状に対しても、本手法は微細な差を効果的に捉えることができた。