[論文レビュー] mmPose-NLP: A Natural Language Processing Approach to Precise Skeletal Pose Estimation using mmWave Radars

Arindam Sengupta, Siyang Cao|arXiv (Cornell University)|Jul 21, 2021

Hand Gesture Recognition Systems参考文献 33被引用数 8

ひとこと要約

本稿では、自然言語処理にインspiredされた、mmWaveレーダー点群から25個の3次元スケルトンキーポイントを推定する新しいsequence-to-sequenceディープラーニングモデル、mmPose-NLPを提案する。レーダーデータをボクセル化し、アテンション拡張型GRUアーキテクチャを用いることで、深度、水平、垂直軸において3 cm未満の局所化精度を達成し、単独のmmWaveレーダーを用いてこのような精度を達成した最初の手法である。

ABSTRACT

In this paper we presented mmPose-NLP, a novel Natural Language Processing (NLP) inspired Sequence-to-Sequence (Seq2Seq) skeletal key-point estimator using millimeter-wave (mmWave) radar data. To the best of the author's knowledge, this is the first method to precisely estimate upto 25 skeletal key-points using mmWave radar data alone. Skeletal pose estimation is critical in several applications ranging from autonomous vehicles, traffic monitoring, patient monitoring, gait analysis, to defense security forensics, and aid both preventative and actionable decision making. The use of mmWave radars for this task, over traditionally employed optical sensors, provide several advantages, primarily its operational robustness to scene lighting and adverse weather conditions, where optical sensor performance degrade significantly. The mmWave radar point-cloud (PCL) data is first voxelized (analogous to tokenization in NLP) and $N$ frames of the voxelized radar data (analogous to a text paragraph in NLP) is subjected to the proposed mmPose-NLP architecture, where the voxel indices of the 25 skeletal key-points (analogous to keyword extraction in NLP) are predicted. The voxel indices are converted back to real world 3-D coordinates using the voxel dictionary used during the tokenization process. Mean Absolute Error (MAE) metrics were used to measure the accuracy of the proposed system against the ground truth, with the proposed mmPose-NLP offering <3 cm localization errors in the depth, horizontal and vertical axes. The effect of the number of input frames vs performance/accuracy was also studied for N = {1,2,..,10}. A comprehensive methodology, results, discussions and limitations are presented in this paper. All the source codes and results are made available on GitHub for furthering research and development in this critical yet emerging domain of skeletal key-point estimation using mmWave radars.

研究の動機と目的

• 光センサの低照度、悪天候、プライバシーに配慮する環境における制限を克服し、レーダーを用いたロバストでプライバシー保護型の3次元スケルトンキーポイント推定手法の開発。
• 歩行分析、患者モニタリング、自律システムなどの分野における正確で非侵襲的な人間の運動解析の実現。
• NLPにインスパイアされたsequence-to-sequenceモデリングを、ボクセル化されたレーダー画像を「文」とみなし、キーポイントを「キーワード」とみなして、レーダー基盤の人体ポーズ推定に応用する可能性の検討。
• 入力レーダー画像フレーム数（N=1から10）を変化させることで、時間的文脈の影響を評価。
• 研究を促進するための公開可能なコードベースとデータセットの構築。

提案手法

• 2台のAWR 1843 mmWaveレーダーから得られたレーダー点群データは、NLPにおけるトークン化に類似した、離散的な3次元グリッド（ボクセル）に変換される。
• 連続するNフレームのボクセル化されたレーダーデータが、GRU層を用いたエンコーダ-デコーダアーキテクチャを持つsequence-to-sequence（Seq2Seq）モデルに供給される。
• キーポイント予測時に、関連する空間領域に注目できるように、デコーダーにアテンション機構が適用され、局所化精度が向上する。
• モデルは25個のスケルトンキーポイントのボクセルインデックスを予測し、事前に計算されたボクセル辞書を用いて、実世界の3次元座標にマッピングされる。
• トレーニングと評価は、ROSを用いて収集したカスタムデータセットを用い、MATLABで取得したKinectスケルトントラッカーの真値を基準として実施される。
• モデルの性能は、全キーポイントおよび異なる入力フレーム数（N=1から10）における3次元空間における平均絶対誤差（MAE）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 NLPにインスパイアされたSeq2Seqモデルは、mmWaveレーダー点群から25個の3次元スケルトンキーポイントを効果的に予測できるか？
• RQ2 入力レーダー画像フレーム数（N）が、スケルトンキーポイント推定精度に与える影響は何か？
• RQ3 デコーダーにおけるアテンション機構は、レーダー点群内の顕著な身体部位に注目することで、局所化精度を向上させられるか？
• RQ4 提案手法は、深度、水平、垂直方向において3 cm未満の局所化誤差を達成するか？ これにより、先行するレーダー基盤のポーズ推定手法を上回るか？
• RQ5 レーダー設定やデータ解像度の変動に対して、モデルはどの程度頑健であり、本研究で使用した特定の設定を超えて一般化可能か？

主な発見

• 提案されたmmPose-NLPモデルは、25個のスケルトンキーポイントについて、全3次元方向（深度、水平、垂直）で平均絶対誤差（MAE）が3 cm未満であることを達成した。
• 入力フレーム数が増加するに従い、N=8で最低のMAEが達成されるまで性能が向上し、その後N=10ではわずかに性能が低下した。
• 外れ値を除去した17個のキーポイントについてのジョイントワイズMAEは、常に3 cm未満であり、高い局所化精度を確認した。
• デコーダーに組み込まれたアテンション機構は、レーダー点群内の関連する身体領域に注目することで、キーポイントの局所化精度を向上させた。
• NLPにインスパイアされた時間的系列モデリングを、レーダー基盤の人体ポーズ推定に応用する可能性が実証された。これにより、高精度でプライバシー保護型のモーショントラッキングが可能になった。
• 本研究では、複数の連続するレーダー画像フレームからの時間的文脈が、ポーズ推定精度を顕著に向上させることを確認した。