[論文レビュー] Multisensory Learning Framework for Robot Drumming

Andrey Barsky, Claudio Zito+3 more|arXiv (Cornell University)|Jul 23, 2019

Robot Manipulation and Learning参考文献 4被引用数 4

ひとこと要約

本論文は、人間型ロボットのドラム演奏のための訓練を目的として、同期されたマルチセンシングデータ（音声、映像、プロ prioception）をシミュレーションで生成するオープンソースフレームワークを提示する。LSTMとモダリティドロップアウトを備えたコントラクティブオートエンコーダーを用いることで、非線形なセンサモーターマッピングを学習し、正確なクロスマodalリトリーブを可能にする。具体的には、未観測の音声や映像入力から新たなドラム演奏動作を生成できることが実証された。これは、定性的な再構成忠実度と、未学習のシーケンスへの一般化によって示された。

ABSTRACT

The hype about sensorimotor learning is currently reaching high fever, thanks to the latest advancement in deep learning. In this paper, we present an open-source framework for collecting large-scale, time-synchronised synthetic data from highly disparate sensory modalities, such as audio, video, and proprioception, for learning robot manipulation tasks. We demonstrate the learning of non-linear sensorimotor mappings for a humanoid drumming robot that generates novel motion sequences from desired audio data using cross-modal correspondences. We evaluate our system through the quality of its cross-modal retrieval, for generating suitable motion sequences to match desired unseen audio or video sequences.

研究の動機と目的

• 音声、映像、プロ prioceptionの3モダリティにわたる、時間的に同期された大規模なマルチセンシングデータを収集可能なスケーラブルでオープンソースのシミュレーションフレームワークの開発。
• 望ましい音声または視覚的入力から適切なドラム演奏動作を生成できる非線形センサモーターマッピングの学習。
• 入力モダリティが部分的に欠落している場合でも、強固なクロスマodal再構成を可能にするモダリティ不変性の実現。
• 因果的なセンサモーターマッピングを学習することで、未学習の音声および映像シーケンスへの一般化を実現。
• 今後のタッチフィードバック統合に向けたロボット操作タスクの基盤を構築。

提案手法

• フレームワークはGazeboとROSを用い、Baxterロボットがドラム演奏タスクを実行する際の音声、映像、関節状態の3モダリティで同期されたデータ収集をシミュレート。
• 動きのプリミティブは3ポイント（開始、接触、戻り）の軌道として定義され、モーションプランナーを用いてドラムタブレチャ入力と同期。
• 音声はロボットエンドエフェクタとドラム面の衝突検出により生成され、映像はバーチャルヘッドマウントカメラからキャプチャ。
• マルチモーダルセンサリ統合ネットワークは、各モダリティ（画像、音声、関節角度）の特徴を別々に符号化し、それらを連結して、ボトルネック層にLSTMを備えたコントラクティブオートエンコーダーに供給。
• 訓練中は、耐性とモダリティ不変性を強化するため、モダリティをランダムにドロップアウト。再構成損失は、3つのモダリティすべてにわたる平均二乗誤差として計算。
• システムは部分的な入力から完全なセンサリデータを再構成できるように訓練され、クロスマodalリトリーブおよび未学習シーケンスへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッドフレームワークは、ロボット操作タスクに適した、同期的かつ大規模なマルチセンシングデータを効率的に生成できるか？
• RQ2 ディープセンサモーターネットワークは、音声、視覚、モーターモダリティ間の非線形マッピングを学習し、クロスマodalリトリーブを可能にするか？
• RQ3 訓練中にモダリティドロップアウトを適用することで、入力モダリティが欠落している場合でも、耐性があり不変な表現が得られるか？
• RQ4 未学習の音声または映像シーケンスから、新規で適切なドラム演奏動作を生成できるか？
• RQ5 主要な信号特徴（例：ドラムのビート、運動軌道）を保持しつつ、欠落したセンサリモダリティをどれほど正確に再構成できるか？

主な発見

• システムは、未学習の音声および映像入力からも運動シーケンスを効果的に生成し、学習データを超えた一般化を示した。
• 音声再構成は、背景ノイズをフィルタリングしながらも、ドラムビート信号を保持しており、効果的な信号回復を示している。
• 視覚的再構成は定性的に真値と一致し、時間経過に伴う運動軌道を正確に再現している。
• 音声からの運動再構成は、高次の時間的依存性を反映するため、ノイズが発生しており、運動予測のモデリングに限界があることが示唆された。
• 訓練中にモダリティドロップアウトを適用することで、耐性のある再構成とモダリティ不変表現が実現された。
• フレームワークは拡張可能であり、今後のタッチフィードバック統合による操作能力の向上を支援する。