[논문 리뷰] Federated Imitation Learning: A Privacy Considered Imitation Learning Framework for Cloud Robotic Systems with Heterogeneous Sensor Data

Boyi Liu, Lujia Wang외 2명|arXiv (Cornell University)|2019. 09. 03.

Robotics and Automated Systems참고 문헌 25인용 수 4

한 줄 요약

이 논문은 원시 데이터를 공유하지 않고도 다른 로봇으로부터 지식을 전달함으로써 로컬 로봇이 성능을 향상시키는 프라이버시 보장 프레임워크인 연합 모방 학습(Federated Imitation Learning, FIL)을 제안한다. 이는 클라우드 로봇 시스템에서 작동하며, RGB, 깊이, 세분화와 같은 이질적인 센서 데이터를 융합하는 알고리즘과 사전 훈련된 모델을 적응시키는 전이 학습 기반 기법을 사용하여, 표준 모방 학습 대비 악천후 조건에서 최대 75% 낮은 오차율을 달성한다.

ABSTRACT

Humans are capable of learning a new behavior by observing others perform the skill. Robots can also implement this by imitation learning. Furthermore, if with external guidance, humans will master the new behavior more efficiently. So how can robots implement this? To address the issue, we present Federated Imitation Learning (FIL) in the paper. Firstly, a knowledge fusion algorithm deployed on the cloud for fusing knowledge from local robots is presented. Then, effective transfer learning methods in FIL are introduced. With FIL, a robot is capable of utilizing knowledge from other robots to increase its imitation learning. FIL considers information privacy and data heterogeneity when robots share knowledge. It is suitable to be deployed in cloud robotic systems. Finally, we conduct experiments of a simplified self-driving task for robots (cars). The experimental results demonstrate that FIL is capable of increasing imitation learning of local robots in cloud robotic systems.

연구 동기 및 목표

• 고립된 데이터와 프라이버시 제약으로 인한 클라우드 로봇 시스템에서의 낮은 모방 학습 효율성과 열악한 일반화 능력 문제를 해결하기 위해.
• 로컬 로봇이 원시 센서 데이터를 공유하지 않고도 다른 로봇이 확보한 지식을 유용하게 활용할 수 있도록 하기 위해.
• RGB, 깊이, 의미 세분화와 같은 이질적인 센서 모odalities를 프라이버시를 보장하는 방식으로 지원하는 확장 가능한 프레임워크를 설계하기 위해.
• 다양한 환경 조건 하에서 모방 학습 정책의 훈련 효율성과 강건성을 향상시키기 위해.
• 실제 환경과 유사한 기상 변화를 반영한 시뮬레이션된 자율 주행 작업에서 프레임워크를 검증하기 위해.

제안 방법

• 원시 데이터 전송과 지식 공유를 분리함으로써 프라이버시를 보장하는 연합 모방 학습(Federated Imitation Learning, FIL) 프레임워크를 제안한다.
• 로컬 로봇이 제공하는 이질적인 센서 입력(예: RGB, 깊이, 세분화)의 모델을 융합하여 클라우드에서 통합된 가이드 모델을 생성하는 지식 융합 알고리즘을 도입한다.
• 로컬 로봇이 자체 데이터를 사용하여 사전 훈련된 클라우드 모델을 미세조정하는 전이 학습 기반 지식 전달 기법을 적용한다.
• 다양한 시뮬레이션 플랫폼(CARLA 및 AirSim) 간의 의미 세분화 표현을 통일시키기 위한 프로세스를 적용한다.
• 중앙 클라우드 서버를 활용하여 공유 지식를 저장하고 업데이트함으로써 지속적인 학습과 모델 진화를 가능하게 한다.
• 다양한 센서 데이터에서 행동 클로닝을 사용해 정 polit을 훈련한 후, 적응을 위해 전이 학습을 적용한다.

실험 결과

연구 질문

• RQ1 클라우드 로봇 시스템에서 이질적인 센서 데이터를 가진 여러 로봇의 지식을 어떻게 프라이버시를 보장하면서 융합할 수 있는가?
• RQ2 중앙 클라우드 모델에서 유래한 지식 전달이 로컬 로봇의 모방 학습 정확도와 훈련 효율성에 어느 정도 기여하는가?
• RQ3 비가, 눈, dense 안개, 먼지와 같은 도전적인 환경 조건에서 기존의 표준 모방 학습 대비 FIL의 성능은 어떠한가?
• RQ4 원시 데이터 공유 없이도 제안된 프레임워크가 RGB, 깊이, 세분화와 같은 다양한 센서 모달리티에 대해 일반화 가능한가?
• RQ5 사전 훈련된 클라우드 모델이 모방 학습에서 훈련 오차와 수렴 시간을 줄이는 데 어떤 영향을 미치는가?

주요 결과

• RGB 이미지에 대한 전달된 정책은 정상 조건에서 오차율을 17.39%에서 4.35%로 감소시켰고, 먼지 조건에서는 52.17%에서 39.13%로 감소시켰다.
• 눈 오는 조건에서는 전달된 깊이 정책이 오차율을 8.70%에서 10.87%로 증가시켰지만, 일반 정책 대비 강건성을 향상시켰다.
• 의미 세분화의 경우, 전달된 정책는 정상 및 비 오는 조건에서 2.17%의 오차율을 유지했으며, 안개 조건에서는 일반 정책(21.74% 대비 17.39% 오차 감소)보다 뛰어난 성능을 보였다.
• FIL를 사용한 훈련 과정은 초기 오차가 낮고 수렴 속도가 빠르며, 그림 10에서 확인할 수 있듯이 샘플 효율성이 향상됨을 보였다.
• 악천후 조건에서 프레임워크는 뚜렷한 성능 향상을 보였으며, 전달된 RGB 정책는 안개 및 먼지 조건에서 오차율을 75% 이상 감소시켰다.
• 지식 융합 알고리즘이 이질적인 센서 모달리티에서 유래한 모델을 성공적으로 통합하여 도메인 이동이 있는 상황에서도 교차 플랫폼 전이 학습을 가능하게 하였다.