[論文レビュー] Sequence-to-Sequence Natural Language to Humanoid Robot Sign Language

Jennifer J. Gago, Valentina Vasco+5 more|arXiv (Cornell University)|Jul 9, 2019

Human Pose and Action Recognition参考文献 12被引用数 6

ひとこと要約

本論文は、自然言語テキストをスペイン手話（LSE）トークンに翻訳し、人身のヒューマノイドロボットTEOで実行可能な、シーケンス・ツー・シーケンス型ニューラルネットワークモデルを提案する。RealSense D435を用いた独自の3次元スケルトン取得パイプラインとLSTMベースのシーケンス・ツー・シーケンスアーキテクチャを組み合わせることで、最小限の誤差で正確な手話翻訳を実現し、ウェアラブル機器を不要とする人間-ロボット手話インタラクションの実現可能なエンド・ツー・エンドソリューションを示している。

ABSTRACT

This paper presents a study on natural language to sign language translation with human-robot interaction application purposes. By means of the presented methodology, the humanoid robot TEO is expected to represent Spanish sign language automatically by converting text into movements, thanks to the performance of neural networks. Natural language to sign language translation presents several challenges to developers, such as the discordance between the length of input and output data and the use of non-manual markers. Therefore, neural networks and, consequently, sequence-to-sequence models, are selected as a data-driven system to avoid traditional expert system approaches or temporal dependencies limitations that lead to limited or too complex translation systems. To achieve these objectives, it is necessary to find a way to perform human skeleton acquisition in order to collect the signing input data. OpenPose and skeletonRetriever are proposed for this purpose and a 3D sensor specification study is developed to select the best acquisition hardware.

研究の動機と目的

• ウェアラブル機器を不要とする、自然言語をヒューマノイドロボット向け手話に翻訳するエンド・ツー・エンドシステムの開発。
• 手話翻訳における文法的構造の違いと非手部マーカーの課題への対処。
• 神経シーケンスモデルを用いて、TEOロボット上でリアルタイムかつ高精度な手話生成を実現すること。
• ルールベースや統計的手法の制限を避けるために、シーケンス・ツー・シーケンスモデルを用いた手話翻訳の可能性の評価。
• OpenPoseを用いた最適化を施した、リアルタイムでの手話動作追跡に適した3次元スケルトン取得パイプラインの構築。

提案手法

• 256個のLSTMユニットとソフトマックス出力層を備えたシーケンス・ツー・シーケンス型LSTMモデルを、カテゴリー交差エントロピー損失とRMSprop最適化法（β=0.9）を用いて学習。
• 入力および出力のシーケンスは語単位でトークン化され、句読点用の特別なトークンが追加され、ワンホットベクトルで符号化される。
• リアルタイム3次元スケルトン再構築パイプラインは、OpenPoseとskeletonRetrieverを用いてRGB-Dデータから関節位置を抽出し、遮蔽耐性を高めるためにIpoptを最適化に使用。
• 解像度、深度精度（2 mm）、および最適な深度範囲（0.2–10 m）のバランスを考慮し、RealSense D435センサが選択された。
• 予測されたLSEトークンシーケンスをTEOロボットの動作命令にマッピングするためのルックアップテーブル（LUT）が使用された。
• 20%の交差検証分割を用い、学習率0.0001および0.001で100エポック分学習された。

実験結果

リサーチクエスチョン

• RQ1 シーケンス・ツー・シーケンス型ニューラルネットワークは、構造的制限を最小限に抑えつつ、自然言語をスペイン手話トークンに効果的に翻訳できるか？
• RQ2 話し言葉の語順と手話の語順の構造的乖離は、システムがどのように処理するか？
• RQ3 ウェアラブル機器を不要とするカメラベースの3次元スケルトン追跡システムは、リアルタイムで正確な手話動作再構築をどの程度サポートできるか？
• RQ4 モデルは、質問、命令、文などの多様な文型に一般化可能で、高精度なトークンレベルの予測を達成できるか？
• RQ5 最適化されたスケルトン追跡と神経翻訳の統合は、ロボット手話生成の全体的な耐障害性をどの程度向上させるか？

主な発見

• シーケンス・ツー・シーケンスモデルは、LSEトークンシーケンスの予測において高い精度を達成し、'Bien'、'Dormir'、'Colegio'、'Edad Cuántos'などのキーワードについても正しく予測した。
• モデルは、質問や命令を含む複雑な文構造をも正しく再配置し、LSEの語順（主語-目的語-動詞）に適合させる翻訳に成功した。
• 解像度、深度精度（2 mm）、運用範囲（0.2–10 m）のバランスを考慮し、RealSense D435センサが最適と判断された。
• OpenPoseとIpopt最適化を用いたスケルトン再構築パイプラインは、自己遮蔽やノイズの多い深度データに対しても効果的に対処し、リアルタイム性能を達成した。
• 学習率α=0.0001で学習した場合、図7のトレーニングおよび交差検証損失曲線から、安定した収束が確認された。
• ウェアラブル機器を不要とするエンド・ツー・エンドの手話翻訳の実現可能性が示された。今後、アテンション機構やRNNの統合による拡張が可能である。