[論文レビュー] 6D Rotation Representation For Unconstrained Head Pose Estimation

Thorsten Hempel, Ahmed A. Abdelrahman+1 more|arXiv (Cornell University)|Feb 25, 2022

Medical Imaging and Analysis被引用数 4

ひとこと要約

本稿では、SO(3)多様体幾何を尊重する測地線損失を用いることで、全範囲かつ一意な6次元回転回帰を可能にする、ランドマークフリーなヘッドポーズ推定手法6DRepNetを提案する。6D回転行列表現を用いることで、Euler角やクォータニオン表現における曖昧さや不連続性の問題を解消し、分類ベースのビニング手法の制限を超えて、エンドツーエンドの直接的6次元ヘッドポーズ回帰を実現する。AFLW2000およびBIWIデータセットにおいて、従来手法を最大20%の性能向上で上回る最先端の性能を達成する。

ABSTRACT

In this paper, we present a method for unconstrained end-to-end head pose estimation. We address the problem of ambiguous rotation labels by introducing the rotation matrix formalism for our ground truth data and propose a continuous 6D rotation matrix representation for efficient and robust direct regression. This way, our method can learn the full rotation appearance which is contrary to previous approaches that restrict the pose prediction to a narrow-angle for satisfactory results. In addition, we propose a geodesic distance-based loss to penalize our network with respect to the SO(3) manifold geometry. Experiments on the public AFLW2000 and BIWI datasets demonstrate that our proposed method significantly outperforms other state-of-the-art methods by up to 20\%. We open-source our training and testing code along with our pre-trained models: https://github.com/thohemp/6DRepNet.

研究の動機と目的

• ヘッドポーズ推定におけるEuler角およびクォータニオン表現の曖昧さと不連続性の問題を解決する。
• ポーズ予測を狭い角度範囲に制限するビニングベースの分類手法の限界を克服する。
• 連続的かつ一意な回転行列表現を用いて、エンドツーエンドの直接的6次元ヘッドポーズ回帰を可能にする。
• SO(3)多様体幾何を測地線距離に基づく損失関数で活用することで、学習の安定性と一般化性能を向上させる。
• ランドマーク検出や角度ビニングに依存せずに、多様なデータセットで優れた性能を示す。

提案手法

• 3×3回転行列の6次元圧縮表現を用いて3次元回転を表現し、正規直交性を学習中に強制しないために、第3の列ベクトルを省略する。
• 予測された6次元ベクトルをGram-Schmidt直交化によりSO(3)にマップして、有効な回転行列を再構築する。
• SO(3)の内在的リーマン幾何を反映する測地線距離を損失関数として用い、標準的なMSEに比べてより頑健な予測誤差のペナルティを課す。
• 画像入力を直接入力として受け取り、6次元表現を回帰する深層畳み込みニューラルネットワーク（例：RepVGGやResNet50）をエンドツーエンドで学習する。
• 回転空間の離散化を回避するため、角度ビンへの分類の必要性を排除し、全範囲回帰を可能にする。
• 回転行列の特徴的なパラメータ化を活用することで、曖昧性を排除し、極端なヘッドポーズにおいても一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 離散的ビニングやEuler/クォータニオン表現と比較して、連続的6次元回転表現は全範囲ヘッドポーズ推定を改善できるか？
• RQ2 SO(3)多様体幾何を尊重する測地線損失を用いた学習は、標準的なMSE損失に比べてより正確で頑健なポーズ回帰を実現するか？
• RQ3 ランドマークベースやビニングベースの手法と比較して、6次元回転表現の直接回帰は非制約的環境で優れた性能を示せるか？
• RQ4 バックボーンネットワークの選択が、提案された6次元回転回帰フレームワークの性能に与える影響は何か？
• RQ5 提案手法は、極端なポーズや非制約的ポーズにおいても、多様なデータセットに一般化可能か？

主な発見

• 提案された6DRepNetは、測地線損失を用いることで、BIWIデータセットで2.66の平均絶対誤差（MAE）を達成し、すべての先行SOTA手法を上回る。
• AFLW2000データセットでは、測地線損失を用いることでMAEが3.97に低下し、従来のSOTA手法比で20%の性能向上を達成した。
• 測地線損失を用いた学習はℓ₂損失に比べてわずかに優れた性能を示し、多様体に配慮した最適化の利点を裏付けた。
• RepVGGバックボーンはAFLW2000で3.97 MAE、BIWIで2.66 MAEを達成し、すべてのテストシナリオでResNet50を約7%上回る性能を示した。
• ヨー、ピッチ、ロールの各角度において一貫した性能を維持しており、全範囲のポーズ変動に対して頑健であることが示された。
• アブレーションスタディの結果、測地線損失は高次元回転空間における一般化性能の向上と誤差蓄積の低減に寄与することが確認された。