[論文レビュー] Towards Generating Virtual Movement from Textual Instructions A Case Study in Quality Assessment

Himangshu Sarma, Robert Porzel+2 more|arXiv (Cornell University)|Jun 6, 2020

Human Motion and Animation参考文献 4被引用数 4

ひとこと要約

本研究は、クラウドソーシングを用いて、テキストによる運動指示から生成された仮想的運動の人体ベースの品質評価を調査する。RGBビデオ可視化が、前向きランジにおいて最高の評価者間一致度（kappa = 0.74）を示し、エクサーガムや療法アプリケーション向けの自動パイプライン開発における信頼性の高い運動品質評価のための最適モダリティであることを裏付けている。

ABSTRACT

Many application areas ranging from serious games for health to learning by demonstration in robotics, could benefit from large body movement datasets extracted from textual instructions accompanied by images. The interpretation of instructions for the automatic generation of the corresponding motions (e.g. exercises) and the validation of these movements are difficult tasks. In this article we describe a first step towards achieving automated extraction. We have recorded five different exercises in random order with the help of seven amateur performers using a Kinect. During the recording, we found that the same exercise was interpreted differently by each human performer even though they were given identical textual instructions. We performed a quality assessment study based on that data using a crowdsourcing approach and tested the inter-rater agreement for different types of visualizations, where the RGBbased visualization showed the best agreement among the annotators.

研究の動機と目的

• テキストによる運動指示から得られる人体運動の品質を評価するための、人間による計算が実用的であるかを検討すること。
• クラウドソーシング環境下で、運動品質を評価するための最も信頼性の高い可視化モダリティを特定すること。
• 療法やゲームアプリケーションへの応用を想定し、運動指示書から仮想的運動を自動生成するパイプラインの構築に向けた基盤的ステップを確立すること。
• 異なる運動可視化タイプ（RGB、深度、スケルトン、VR）における品質評価タスクにおける評価者間信頼性を評価すること。
• 同じ指示に対して人間の解釈のばらつきがあるにもかかわらず、一貫した品質判断が可能かどうかを特定すること。

提案手法

• 身体の姿勢（例：立位、座位）別に分類された約1000件の運動指示書を含む「身体運動指示書コーパス（PEISC）」を収集した。
• 7名のアマチュアパフォーマー（男性3名、女性4名；平均年齢M=25、標準偏差SD=5）が、キネクトを用いて装備なしの5つの運動を記録し、各パフォーマーが10回ずつ実施した。
• キネクトデータから4種類の可視化タイプを生成した：RGB（カラー動画）、深度マップ、スケルトンデータ、バーチャルリアリティレンダリング。
• 20名の参加者が、全可視化タイプのうち最悪のものを繰り返し除外し、最良のパフォーマンスを選択する形で運動品質を評価するクラウドソーシング調査を設計した。
• Kappa統計量を用いて、異なる可視化タイプおよび運動種別における評価者間一致度を測定した。
• 人種的背景などのデモグラフィックデータと、運動終了後の指示理解度フィードバックを収集し、指示の明確さとパフォーマンスのばらつきを評価した。

実験結果

リサーチクエスチョン

• RQ1 人間による計算は、テキストによる運動指示から生成された人体運動の品質を信頼性を持って評価できるか？
• RQ2 運動可視化モダリティ（RGB、深度、スケルトン、VR）の中で、品質評価タスクにおいて最も高い評価者間一致度を示すのはどれか？
• RQ3 同じ運動を異なる人物が同じ指示で実施した場合、運動品質の判断がどの程度一貫しているか？
• RQ4 テキストによる指示の明確さが、運動実施のばらつきおよび品質評価にどの程度影響を与えるか？
• RQ5 クラウドソーシングによる品質評価は、テキストから仮想的運動生成への自動パイプライン構築の有効な中間ステップと見なせるか？

主な発見

• RGBビデオ可視化が、前向きランジ運動において最高の評価者間一致度を示し、kappa統計量は0.74に達した。これはアノテーター間で実質的な一致があることを示している。
• 評価者間一致度は運動種別によって変動し、前向きランジで最高のkappa値（0.74）を記録した一方、スクワットでは最低（0.51）となり、中程度から実質的な信頼性があると判明した。
• 同じ指示であっても、パフォーマーが同じ運動を異なる方法で解釈したため、個人差による運動実施のばらつきが顕著に現れた。
• 指示理解度は一貫していなかった—一部の参加者は指示書が理解しにくく感じた一方で、他の参加者は理解しやすかったと感じた。これは、指示の明確さにばらつきがあることを示している。
• 本研究は、運動品質評価が人間に対しても困難なタスクであることを確認した。評価者間信頼性は運動種別および可視化タイプに応じて中程度から実質的となる。
• RGBビデオは、慣れ親しんだ感覚と自然な運動表現のため、最も直感的で信頼性の高いモダリティであると認識された。