[論文レビュー] ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and Tactile Representations

Ruohan Gao, Yen‐Yu Chang+3 more|arXiv (Cornell University)|Sep 16, 2021

Tactile and Sensory Interactions参考文献 51被引用数 23

ひとこと要約

ObjectFolderは、視覚、聴覚、触覚の感覚データを統合的にモデル化する暗黙的ニューラル表現によって符号化された100体の3次元オブジェクトからなる新規データセットを紹介する。高精度でクエリ駆動型のマルチセンサリ信号シミュレーションを可能にすることで、インスタンス認識、クロスセンサリ検索、3次元再構築、ロボットグリッピングのベンチマークが可能となり、視覚と音声を組み合わせた場合に3次元再構築の精度が向上し、触覚データを用いることでグリッピング予測性能が優れていることが示された。

ABSTRACT

Multisensory object-centric perception, reasoning, and interaction have been a key research topic in recent years. However, the progress in these directions is limited by the small set of objects available -- synthetic objects are not realistic enough and are mostly centered around geometry, while real object datasets such as YCB are often practically challenging and unstable to acquire due to international shipping, inventory, and financial cost. We present ObjectFolder, a dataset of 100 virtualized objects that addresses both challenges with two key innovations. First, ObjectFolder encodes the visual, auditory, and tactile sensory data for all objects, enabling a number of multisensory object recognition tasks, beyond existing datasets that focus purely on object geometry. Second, ObjectFolder employs a uniform, object-centric, and implicit representation for each object's visual textures, acoustic simulations, and tactile readings, making the dataset flexible to use and easy to share. We demonstrate the usefulness of our dataset as a testbed for multisensory perception and control by evaluating it on a variety of benchmark tasks, including instance recognition, cross-sensory retrieval, 3D reconstruction, and robotic grasping.

研究の動機と目的

• ロボティクスおよびAI研究に向けた視覚、音声、および触覚を支援する高品質でマルチセンサリな3次元オブジェクトデータセットの不足を是正すること。
• 現存するデータセットの限界（現実性に欠ける合成オブジェクト、高コストで不安定な実世界データ）を克服すること。
• 柔軟でスケーラブルかつ共有可能なマルチセンサリデータのシミュレーションを可能にする、統合的かつオブジェクト中心の暗黙的表現フレームワークの開発。
• ロボット仮想環境と互換性を持つ公開ベンチマークデータセットの作成により、マルチセンサリ感知および制御分野の研究を加速すること。
• 3次元再構築、クロスモーダル検索、ロボットグリッピングなど多様なタスクにおいて、このデータセットの実用性を実証すること。

提案手法

• 各オブジェクトは、視覚外観用のVisionNet、インパルス音声シミュレーション用のAudioNet、触覚センシング用のTouchNetを有する深層ニューラルネットワークを用いたオブジェクトファイルとして表現される。
• 視覚データは、カメラの姿勢、照明、オブジェクトの回転を変化させたクエリによって生成され、リアルな画像が得られる。
• 音声データは、オブジェクトの形状、サイズ、素材に基づくモード解析を用いて振動モードを計算し、インパルス音声をシミュレートする。
• 触覚データは、DIGIT（視覚ベースの触覚センサ）を用い、接触位置での表面点をクエリすることでRGB触覚画像を生成する。
• 暗黙的表現は、座標条件付き特徴マップと条件付きバッチ正規化を用いて学習され、占有確率および感覚出力を予測する。
• 1つのオブジェクトごとに学習された1つの統合表現から、視覚、聴覚、触覚信号をリアルタイムでクエリ可能であり、エンドツーエンドの学習と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 暗黙的ニューラル表現は、統合的かつスケーラブルな形式で、3次元オブジェクトの視覚的・聴覚的・触覚的データを効果的に符号化・シミュレートできるか？
• RQ2 視覚と音声信号を組み合わせることで、単一モダリティのベースラインと比較して、3次元形状再構築の性能はどのように向上するか？
• RQ3 視覚のみまたは視覚と組み合わせたアプローチと比較して、触覚データのみでロボット操作タスクにおけるグリップ安定性予測をどれほど向上させられるか？
• RQ4 このデータセットは、実世界の画像やシミュレーション内でのロボット制御ポリシーにどれほど一般化できるか？
• RQ5 暗黙的表現フレームワークは、高精度なクロスセンサリ検索や3次元再構築を含む多様なベンチマークタスクをサポートできるか？

主な発見

• 画像と音声入力を併用した3次元再構築（Image+Audio2Mesh）は、交差オーバーラップ（IoU）が0.8906に達し、単一モダリティのベースラインを上回り、音声の空間的ヒントの価値を示した。
• ObjectFolderで学習したImage2Meshモデルは、実世界の画像に対しても良好に一般化でき、タッチベースのロボットグリッピングで75.5%の成功率を示した。これはランダムポリシー（53.0%）を著しく上回った。
• 触覚データのみを用いたグリップ安定性予測は、視覚ベースのモデルと比較してはるかに少ない訓練サンプルで高い精度に到達したため、触覚データの学習効率の高さが示された。
• 視覚と触覚信号の組み合わせが、最高のグリップ予測精度を達成しており、これらのモダリティが相補的であることが強調された。
• メタ・ワールド環境で3つのオブジェクト（マグカップ、ボウル、ダイス）を用いたオブジェクト操作タスク（例：到達）において、100%の成功率が達成された。これは、シミュレーション内での実用的有用性を示している。
• 暗黙的ニューラル表現フレームワークにより、100オブジェクトすべてで効率的かつ高精度なマルチセンサリデータのシミュレーションが可能となり、一貫したパフォーマンスで多様な下流タスクをサポートした。