[論文レビュー] The 2017 Hands in the Million Challenge on 3D Hand Pose Estimation

Shanxin Yuan, Qi Ye+2 more|arXiv (Cornell University)|Jul 7, 2017

Human Pose and Action Recognition参考文献 7被引用数 49

ひとこと要約

本論文は、BigHand2.2MおよびFirst-Person Hand Actionデータセットから得た100万枚以上の完全にアノテートされた深度画像を用いて、3次元ハンドポーズ推定のための大規模ベンチマークである2017 Hands in the Million Challengeを提示する。このチャレンジは、標準化された指標（可視性を考慮した誤差測定および周波数重み付き誤差測定を含む）を用いて、単一フレーム推定および時間的トラッキングの2つのタスクにおいて、最先端の手法の性能を評価し、現在のアプローチの強みと失敗モードを特定する。

ABSTRACT

We present the 2017 Hands in the Million Challenge, a public competition designed for the evaluation of the task of 3D hand pose estimation. The goal of this challenge is to assess how far is the state of the art in terms of solving the problem of 3D hand pose estimation as well as detect major failure and strength modes of both systems and evaluation metrics that can help to identify future research directions. The challenge follows up the recent publication of BigHand2.2M and First-Person Hand Action datasets, which have been designed to exhaustively cover multiple hand, viewpoint, hand articulation, and occlusion. The challenge consists of a standardized dataset, an evaluation protocol for two different tasks, and a public competition. In this document we describe the different aspects of the challenge and, jointly with the results of the participants, it will be presented at the 3rd International Workshop on Observing and Understanding Hands in Action, HANDS 2017, with ICCV 2017.

研究の動機と目的

• 異なる手法の公平かつ体系的な評価を可能にするために、標準化された大規模ベンチマークを3次元ハンドポーズ推定の分野に確立すること。
• 特に遮蔽や多様なハンドの形状・ポーズが関与する困難な状況における、3次元ハンドポーズ推定分野の最新技術の現状を評価すること。
• 既存の手法および評価指標の失敗モードと成功モードを特定し、今後の研究の方向性を導くこと。
• 公開コンペティションとして、標準化されたデータセットと評価プロトコルを提供し、分野におけるイノベーションを促進すること。
• エゴセントリック視点やハンド・オブジェクト相互作用を含む現実的な条件下での性能を評価するため、可視性および周波数に配慮した新しい指標を用いること。

提案手法

• チャレンジは、BigHand2.2MおよびFirst-Person Hand Action (FHAD) データセットから抽出された100万枚以上の深度画像のデータセットを用いる。画像はIntel RealSense SR300で640×480解像度で撮影された。
• 21個のハンドジョイントの真値3次元アノテーションは、磁気センサーシステムと逆運動学を用いて生成され、高い正確性が保証されている。
• データセットには主に2つのタスクが含まれる：3次元ハンドポーズトラッキング（最初のフレームのアノテーションを用いて全シーケンスを予測）と、ボクシングボックスが提供される単一フレーム3次元ハンドポーズ推定。
• 評価には標準指標（平均誤差、ε内でのジョイント正確性、フレームレベルの正確性）に加え、ジョイントの可視性とポーズの頻度を考慮した新しい指標が用いられる。
• 周波数重み付けスキームにより、ポーズのクラスターサイズの逆数が割り当てられ、レアなハンドポーズに高い重要度が与えられ、評価の感度が向上する。
• 参加者は完全なトレーニングアノテーションを入手するが、隠しテストセットでの予測を行う必要があり、複数の指標の組み合わせスコアを用いて、公開リーダーボード上で結果が評価される。

実験結果

リサーチクエスチョン

• RQ1 現在の3次元ハンドポーズ推定手法は、第3者視点およびエゴセントリック視点を含む多様なハンドの形状・ポーズ・視点に対して、どの程度一般化できるか？
• RQ2 特にハンド・オブジェクト相互作用中に深刻な遮蔽が生じた場合、既存の手法の失敗モードは何か？
• RQ3 可視性を考慮した指標と周波数重み付き評価指標は、標準指標と比較して、性能のギャップをどのようによりよく特定できるか？
• RQ4 ポーズのレアリティ（例：レアな指の配置）は推定の正確性にどの程度影響を及ぼすか？重み付けされた指標は、現実世界の課題をよりよく反映できるか？
• RQ5 長時間のシーケンスや遮蔽状況下において、トラッキング手法と単一フレーム推定手法の間で、耐性と正確性の点でどの程度の差が生じるか？

主な発見

• チャレンジデータセットは、トレーニング用に873,000フレーム、トラッキング用に187,000フレーム、単一フレーム推定用に187,000フレームを含み、10名の被験者と複数の視点条件をカバーしている。
• テストセットには、エゴセントリック視点で未確認の被験者5名と、自身のシーケンスの後半部分が含まれる既知の被験者5名が含まれており、新しい人物への一般化能力の評価が可能である。
• FHADデータセットから抽出された5,400フレームの導入により、オブジェクトとの相互作用に起因する現実的な遮蔽状況が実装され、既存のベンチマークでは稀な状況が実現された。
• 提案された周波数重み付き誤差指標は、まれなポーズに高い重要度を割り当て、手法がレアな構成でしばしば性能を発揮しないことが明らかになった。
• 可視性を考慮した評価では、自己遮蔽やオブジェクト接触による遮蔽を受けるジョイントが一貫して予測が困難であり、その正確性が低いことが示された。
• チャレンジの結果、平均誤差やジョイント正確性指標は有用であるが、フレームレベルの正確性（r_f）はより厳しい基準であることが判明した。最良のモデルでは、ε = 20mmの条件下でr_f ≈ 0.75の成績を示した。