[논문 리뷰] Towards Building AI-CPS with NVIDIA Isaac Sim: An Industrial Benchmark and Case Study for Robotics Manipulation

Zhehua Zhou, Jiayang Song외 6명|arXiv (Cornell University)|2023. 07. 31.

Adversarial Robustness in Machine LearningComputer Science참고 문헌 61인용 수 3

한 줄 요약

이 논문은 NVIDIA Isaac Sim을 사용하여 AI 기반 로봇 조작을 위한 공개 산업 기준 평가 기준을 소개하며, 다수의 딥 강화 학습 컨트롤러를 활용해 여덟 가지 작업을 평가한다. 물리 시뮬레이터 및 OpenAI Gym과 호환되는 파이썬 기반 위조 검증 프레임워크를 제안하며, 최첨단 최적화 기법이 AI 컨트롤러의 결함을 효과적으로 드러내어 AI-CPS 개발의 신뢰성 평가를 향상시킨다.

ABSTRACT

As a representative cyber-physical system (CPS), robotic manipulator has been widely adopted in various academic research and industrial processes, indicating its potential to act as a universal interface between the cyber and the physical worlds. Recent studies in robotics manipulation have started employing artificial intelligence (AI) approaches as controllers to achieve better adaptability and performance. However, the inherent challenge of explaining AI components introduces uncertainty and unreliability to these AI-enabled robotics systems, necessitating a reliable development platform for system design and performance assessment. As a foundational step towards building reliable AI-enabled robotics systems, we propose a public industrial benchmark for robotics manipulation in this paper. It leverages NVIDIA Omniverse Isaac Sim as the simulation platform, encompassing eight representative manipulation tasks and multiple AI software controllers. An extensive evaluation is conducted to analyze the performance of AI controllers in solving robotics manipulation tasks, enabling a thorough understanding of their effectiveness. To further demonstrate the applicability of our benchmark, we develop a falsification framework that is compatible with physical simulators and OpenAI Gym environments. This framework bridges the gap between traditional testing methods and modern physics engine-based simulations. The effectiveness of different optimization methods in falsifying AI-enabled robotics manipulation with physical simulators is examined via a falsification test. Our work not only establishes a foundation for the design and development of AI-enabled robotics systems but also provides practical experience and guidance to practitioners in this field, promoting further research in this critical academic and industrial domain.

연구 동기 및 목표

• 고정밀 물리 시뮬레이터에서 AI 기반 로봇 조작을 위한 체계적인 평가 플랫폼 부족 문제를 해결하기 위해.
• 글로벌 설문 조사 방식을 통해 로봇 및 AI 전문가들의 산업 및 학술적 요구사항을 파악하기 위해.
• 다양한 조작 작업과 AI 컨트롤러를 포함한 공개적이고 산업 수준의 벤치마크를 Isaac Sim에 구축하기 위해.
• 물리 엔진 및 OpenAI Gym 환경과 호환되는 유연한 파이썬 기반 위조 검증 프레임워크를 개발하기 위해.
• 최적화 기반 위조 검증의 효과성을 평가하여 로봇용 AI 컨트롤러의 취약점을 드러내기 위해.

제안 방법

• 다른 시뮬레이터와의 비교에서 Isaac Sim의 주요 요구사항과 한계를 파악하기 위해 글로벌 설문 조사를 실시하였다.
• NVIDIA Omniverse Isaac Sim에서 여덟 가지 대표적인 로봇 조작 작업(예: 집기, 삽입, 쌓기 등)을 포함한 벤치마크를 설계하였다.
• 다양한 딥 강화 학습 알고리즘을 사용해 AI 컨트롤러를 훈련하고, 작업 간 성능과 동작 노이즈 하에서의 성능을 평가하였다.
• 물리 기반 시뮬레이터 및 OpenAI Gym 환경과 통합되는 파이썬 기반 위조 검증 프레임워크를 개발하여 자동 결함 탐지 기능을 구현하였다.
• 컨트롤러의 강건성 테스트를 위해 CMA-ES, SLSQP, 베이지안 최적화의 세 가지 최적화 방법을 활용하였다.
• 위협 시나리오를 생성하여 컨트롤러 실패 여부를 평가하기 위해 위조 검증 테스트를 수행하였다.

실험 결과

연구 질문

• RQ1 고정밀 시뮬레이터에서 다양한 산업용 로봇 조작 작업에 대해 서로 다른 AI 컨트롤러는 어떻게 성능을 발휘하는가?
• RQ2 CMA-ES, SLSQP, 베이지안 최적화 등 최첨단 최적화 기반 위조 기법은 로봇용 AI 컨트롤러의 취약점을 얼마나 효과적으로 드러내는가?
• RQ3 로봇 및 AI 전문가들의 관점에서 현재의 시뮬레이터의 핵심 요구사항과 한계는 무엇인가?
• RQ4 통합된 프레임워크는 기존 테스트 방법과 현대적 물리 기반 시뮬레이션 간의 격차를 메울 수 있는가?

주요 결과

• 딥 강화 학습으로 훈련된 AI 컨트롤러는 높은 성공률로 여덟 가지 벤치마크 작업을 모두 성공적으로 완수하였으며, 동작 노이즈 하에서도 강건성을 보였다.
• 최적화 기반 검색을 활용해 위조 검증 프레임워크가 AI 컨트롤러의 실패 시나리오를 성공적으로 식별하여, 신뢰성 테스트에서의 유용성을 입증하였다.
• CMA-ES, SLSQP, 베이지안 최적화 모두 위협 입력을 생성하여 컨트롤러 실패를 유도하는 데 효과적이었으며, 작업에 따라 효율성 차이가 있었다.
• 설문 조사 결과, 전문가들은 고정밀 물리 시뮬레이션, GPU 가속, AI 훈련 파이프라인과의 원활한 통합을 중시하며, 이는 Isaac Sim의 핵심 강점임을 확인하였다.
• 벤치마크와 위조 검증 프레임워크는 공개되어 있어 재현성과 향후 AI-CPS 검증 연구에 기여할 수 있다.
• 본 연구는 산업 수준의 시뮬레이션 환경에서 AI 기반 로봇 시스템을 평가하고 테스트하기 위한 체계적인 파이프라인을 수립하였다.