[論文レビュー] VRKitchen2.0-IndoorKit: A Tutorial for Augmented Indoor Scene Building in Omniverse

Yizhou Zhao, Steven Gong+3 more|arXiv (Cornell University)|Jun 23, 2022

Human Motion and Animation被引用数 4

ひとこと要約

この論文では、NVIDIA Omniverseに統合されたPythonベースのツールキットであるIndoorKitを紹介する。このツールキットを用いることで、写真のようにリアルな物理シミュレーションを施した屋内環境を構築できる。研究者は、多様な屋内シーンの合成、シーンのランダム化、機械学習モデルとの統合を、USDおよびGPUアクセラレートされたシミュレーションを用いた統合的かつ拡張可能なパイプラインを通じて、ロボット制御やアバターのアニメーションといったエムボディドAIタスクに活用できる。

ABSTRACT

With the recent progress of simulations by 3D modeling software and game engines, many researchers have focused on Embodied AI tasks in the virtual environment. However, the research community lacks a platform that can easily serve both indoor scene synthesis and model benchmarking with various algorithms. Meanwhile, computer graphics-related tasks need a toolkit for implementing advanced synthesizing techniques. To facilitate the study of indoor scene building methods and their potential robotics applications, we introduce INDOORKIT: a built-in toolkit for NVIDIA OMNIVERSE that provides flexible pipelines for indoor scene building, scene randomizing, and animation controls. Besides, combining Python coding in the animation software INDOORKIT assists researchers in creating real-time training and controlling avatars and robotics. The source code for this toolkit is available at https://github.com/realvcla/VRKitchen2.0-Tutorial, and the tutorial along with the toolkit is available at https://vrkitchen20-tutorial.readthedocs.io/en/

研究の動機と目的

• エムボディドAIアルゴリズムの屋内シーン合成とベンチマークを両立する統合プラットフォームの不足に対処すること。
• Omniverse内での柔軟で拡張可能なツールキットを提供し、ロボット工学およびAI研究のためのシーン構築、ランダム化、シミュレーションを簡素化すること。
• 写真のようにリアルな3Dアセットと物理シミュレーションを用いて、アバターやロボットのリアルタイムトレーニングおよび制御を可能にすること。
• USDを介して、多様な3Dフォーマット（例：3D-Front、SAPIEN、iTHOR）とシミュレーションパイプラインの相互運用性を促進すること。
• 機械学習モデルをシミュレーションワークフローに統合し、ナビゲーション、マニピュレーション、アニメーションなどの下流タスクに活用すること。

提案手法

• NVIDIA OmniverseのPython APIを活用し、シーン構築およびアニメーションのための低レベルのシミュレーションおよびレンダリング制御を公開する。
• 複数の屋内シーンデータセット（例：3D-Front、iTHOR、SAPIEN）をサポートし、メタデータおよび可視化ツールを備えたカスタムデータセットの統合を可能にする。
• USD（ユニバーサルシーンディスクリプション）を標準化された圧縮フォーマットとして採用し、モデル、テクスチャ、照明、アニメーションを含む完全なシーンデータの保存および転送を可能にする。
• Omniverseの物理エンジンを活用し、剛体、ソフト、アーティキュレーテッド、流体の各ボディーをサポートすることで、リアルタイムの物理シミュレーションを実現する。
• Pythonスクリプトを介してPyTorch、TensorFlowなどのディープラーニングフレームワークと統合し、シミュレーション内でのニューラルポリシーのエンドツーエンドトレーニングを可能にする。
• 背景、素材、装飾、照明のランダム化戦略を内蔵し、AIトレーニングにおける汎化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 統合的ツールキットは、エムボディドAI研究のための写真のようにリアルで物理的に正確な屋内環境の構築をどのように簡素化できるか？
• RQ2 1つのシミュレーションプラットフォーム内で3Dシーン合成、物理シミュレーション、機械学習トレーニングを統合するための主要な技術的要件は何か？
• RQ3 シーンランダム化戦略は、シミュレートされた屋内環境におけるAIエージェントの頑健性および汎化性能をどのように向上させるか？
• RQ4 標準化されたシーン記述フォーマット（USD）は、3Dモデリングツールとシミュレーションエンジン間の相互運用性をどのように実現するか？
• RQ5 研究者はどのようにして、ロボット工学およびアバターコントロールのためのシミュレーションパイプラインにカスタムデータセットや事前学習済みモデルを効率的に統合できるか？

主な発見

• IndoorKitは、USDを用いて、3D-Front、iTHOR、SAPIENなどの多様な3D屋内シーンデータセットを1つの拡張可能なシミュレーションパイプラインにシームレスに統合できる。
• 背景、素材、装飾、照明のランダム化戦略により、トレーニング環境の多様性とリアリズムが顕著に向上する。
• AMASSおよびMixamoアセットとの統合により、複雑なシーンでも物理的に正確な動きを実現する、アニメーション可能なアバターやロボットエージェントのリアルタイム制御が達成された。
• OmniverseにおけるGPUアクセラレートされた物理シミュレーションおよびニューラルネットワークトレーニングにより、複雑な相互作用の低遅延かつ高忠実度のシミュレーションが可能になった。
• シーンロードおよびラベル付けからモデルトレーニングおよび評価に至るエンドツーエンドのワークフローをサポートし、開発のオーバーヘッドを低減した。
• 包括的なドキュメンテーション、チュートリアル、およびGitHubおよびReadTheDocs経由でのオープンソース提供により、エムボディドAIおよびロボット工学分野の研究者にとっての参入障壁が低下した。