[論文レビュー] HO-3D_v3: Improving the Accuracy of Hand-Object Annotations of the HO-3D Dataset

Shreyas Hampali, Sayan Sarkar+1 more|arXiv (Cornell University)|Jul 2, 2021

Human Pose and Action Recognition被引用数 14

ひとこと要約

HO-3D_v3 は、L2 シルエット損失を交差エントロピーに置き換え、解剖学的に整合した関節軸を用い、球体ベースの反発項を導入することで、HO-3D データセットにおける 3D 手および物体ポーズアノテーションの正確性を向上させる。これにより指先誤差が 4mm 減少（12.31mm から 8.12mm）し、重なりが少ないより現実的な手と物体の接触領域が得られる。

ABSTRACT

HO-3D is a dataset providing image sequences of various hand-object interaction scenarios annotated with the 3D pose of the hand and the object and was originally introduced as HO-3D_v2. The annotations were obtained automatically using an optimization method, 'HOnnotate', introduced in the original paper. HO-3D_v3 provides more accurate annotations for both the hand and object poses thus resulting in better estimates of contact regions between the hand and the object. In this report, we elaborate on the improvements to the HOnnotate method and provide evaluations to compare the accuracy of HO-3D_v2 and HO-3D_v3. HO-3D_v3 results in 4mm higher accuracy compared to HO-3D_v2 for hand poses while exhibiting higher contact regions with the object surface.

研究の動機と目的

• HO-3D_v2 で得られた結果が不十分であった自動最適化によって生成された、HO-3D データセットにおける 3D 手および物体ポーズアノテーションの正確性を向上させること。
• HO-3D_v2 に見られる限界、例えば不自然なポーズ、接触推定の悪さ、手と物体の過剰な重なりを是正すること。
• 最適化制約と監視の改善を通じて、手と物体の相互作用の現実性と物理的妥当性を高めること。
• 特に動的グリップと接触領域推定に向けた、3D 手と物体の相互作用研究の信頼性の高いベンチマークを提供すること。
• アノテーション品質の向上により、手ポーズ推定や接触予測といった下流タスクにおける一般化性能と性能を向上させること。

提案手法

• MSeg から得られるセグメンテーション信頼度マップを用い、3 つのクラス（物体、人物、背景）に再マップしたものを用いて、HO-3D_v2 の L2 ベースのシルエット差分項を交差エントロピー損失に置き換える。
• PCA コンポーネントではなく関節角度そのものに直接最適化することで、関節軸を解剖学的指方向に一致させ、局所最小値を回避し、自然なグリップポーズへの到達を可能にする。
• 手と物体を球体の集合体としてモデル化する球体ベースの反発項を導入。反発エネルギーは 2mm の許容誤差を超えて重なった場合にペナルティを課す。
• 全カメラからのマルチビュー深度点群を用いて、手の指先位置の手動アノテーションおよび評価に高精度な 3D ポイントクラウドを生成する。
• 改善された最適化フレームワークを用いて、HO-3D データセット全体の手と物体のポーズを再計算し、HO-3D_v3 を得る。
• 指先位置が明確にアノテートされた 50 フレーム（HO-3D_v2 が悪く性能を発揮しなかった領域から選択）を用いて、改善効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 HO-3D_v2 に比べ、HO-3D データセットにおける 3D 手および物体ポーズアノテーションの正確性をどのように向上させられるか？
• RQ2 MSeg に基づくセグメンテーションを用いた交差エントロピー損失は、シルエットの整合性とポーズ推定にどの程度向上効果をもたらすか？
• RQ3 解剖学的に整合した関節軸を用いることで、ポーズアーティファクトを低減し、自然なグリップポーズへの到達性を向上させられるか？
• RQ4 球体ベースの反発項は、重なりを低減させつつ、より物理的に妥当な手と物体の相互作用を実現できるか？
• RQ5 更新されたアノテーションは、動的および静的グリップにおける接触領域推定と相互透過性にどのような影響を及ぼすか？

主な発見

• HO-3D_v3 では、HO-3D_v2 の平均指先誤差 12.31mm が 8.12mm に低下し、ポーズ正確性が 4mm 向上した。
• 新たなアノテーションでは、特に動的グリップシーケンスにおいて、より現実的な手と物体の接触領域が得られており、接触マップで可視化されている。
• HO-3D_v3 では手と物体間の平均透過距離が低減しており、同様の許容誤差閾値であっても物理的妥当性が向上していることが示唆される。
• 解剖学的に整合した関節軸の使用により、PCA ベースの関節制限が不適切に設定されたために生じる不自然なポーズ（例：ねじれた親指）が防止された。
• 球体ベースの反発項は、透過を効果的に低減させつつ、正確なポーズ推定を維持できており、2mm の透過許容誤差を閾値として用いている。
• 更新されたデータセットは、HO-3D_v2 よりも大幅に大きな規模であり、学習用 83,325 枚、テスト用 20,137 枚の画像を含んでおり、被験者および物体の数は一貫している。