[論文レビュー] Federated Imitation Learning: A Privacy Considered Imitation Learning Framework for Cloud Robotic Systems with Heterogeneous Sensor Data

Boyi Liu, Lujia Wang+2 more|arXiv (Cornell University)|Sep 3, 2019

Robotics and Automated Systems参考文献 25被引用数 4

ひとこと要約

本論文は、プライバシーを守るフレームワークとしてのフェデレーテッドインスティチューションラーニング（FIL）を提案する。FILは、クラウドロボティクスシステムにおいて、他のロボットから得た知識を中央クラウド経由で転送することで、生データを共有せずにローカルロボットがインスティチューションラーニングの精度と効率を向上させることを可能にする。FILは、異種のセンサデータ（RGB、深度、セグメンテーション）を統合する知識統合アルゴリズムと、事前学習済みモデルを適応させる転移学習ベースのスキームを採用しており、標準的なインスティチューションラーニングと比較して、悪天候条件下で最大75％の誤差率低減を達成している。

ABSTRACT

Humans are capable of learning a new behavior by observing others perform the skill. Robots can also implement this by imitation learning. Furthermore, if with external guidance, humans will master the new behavior more efficiently. So how can robots implement this? To address the issue, we present Federated Imitation Learning (FIL) in the paper. Firstly, a knowledge fusion algorithm deployed on the cloud for fusing knowledge from local robots is presented. Then, effective transfer learning methods in FIL are introduced. With FIL, a robot is capable of utilizing knowledge from other robots to increase its imitation learning. FIL considers information privacy and data heterogeneity when robots share knowledge. It is suitable to be deployed in cloud robotic systems. Finally, we conduct experiments of a simplified self-driving task for robots (cars). The experimental results demonstrate that FIL is capable of increasing imitation learning of local robots in cloud robotic systems.

研究の動機と目的

• 孤立したデータとプライバシー制約のため、クラウドロボティクスシステムにおけるインスティチューションラーニングの効率が低く、一般化性能が劣るという課題に対処すること。
• 生センサデータを共有せずに、他のロボットが得た知識をローカルロボットが活用できることを可能にすること。
• 異種センサモダリティ（RGB、深度、セマンティックセグメンテーション）をプライバシーを守る形で扱えるスケーラブルなフレームワークを設計すること。
• 多様な環境条件下でのインスティチューションラーニングポリシーの訓練効率とロバスト性を向上させること。
• 実世界に類似した天候変動を伴うシミュレーテッド自動運転タスクにおいて、フレームワークを検証すること。

提案手法

• 生データの転送とは分離された知識共有を実現することで、プライバシーを確保するフェデレーテッドインスティチューションラーニング（FIL）フレームワークを提案する。
• ローカルロボットが異種センサ入力を持つモデルを集約し、クラウド上で統一されたガイドモデルに統合する知識統合アルゴリズムを導入する。
• ローカルロボットが自らのデータを用いて事前学習済みクラウドモデルを微調整する、転移学習ベースの知識転送スキームを採用する。
• 異なるシミュレーションプラットフォーム（CARLAとAirSim）間でのセマンティックセグメンテーション表現を統一するプロセスを適用する。
• 中央クラウドサーバーを用いて共有知識を保存・更新することで、継続的学習とモデル進化を可能にする。
• 多様なセンサデータを用いた行動クラッシングによるインスティチューションラーニングでポリシーを訓練し、その後転移学習を適用して適応させる。

実験結果

リサーチクエスチョン

• RQ1 複数のロボットが異種センサデータを持つ状況において、クラウドロボティクスシステムでプライバシーを守りながら、知識をどのように統合できるか？
• RQ2 中央クラウドモデルからの知識転送が、ローカルロボットにおけるインスティチューションラーニングの精度と訓練効率にどの程度向上効果をもたらすか？
• RQ3 雨、雪、霧、ほこりなどの厳しい環境条件下で、FILは標準的なインスティチューションラーニングと比較してどのように性能を発揮するか？
• RQ4 本フレームワークは、生データの共有を要件とせず、異なるセンサモダリティ（RGB、深度、セグメンテーション）に一般化可能か？
• RQ5 事前学習済みクラウドモデルは、インスティチューションラーニングにおける訓練誤差と収束時間の短縮にどのような影響を及えるか？

主な発見

• RGB画像の転送ポリシーは、通常条件では誤差率を17.39％から4.35％に低下させ、ほこりの多い条件下では52.17％から39.13％に低下させた。
• 雪の条件下では、深度ポリシーの誤差が8.70％から10.87％に上昇したが、これは一般ポリシーと比較してより高いロバスト性を示している。
• セマンティックセグメンテーションにおいて、転送ポリシーは通常および雨天条件下で2.17％の誤差率を維持し、霧の条件下では一般ポリシー（21.74％）と比較して17.39％の誤差率低下を達成した。
• FILを用いた訓練プロセスは、初期誤差が低く、収束が速く、図10に示すように、より高いサンプル効率を示している。
• 悪天候条件下では顕著な性能向上が見られ、特に霧やほこりの状況で、RGBポリシーの誤差は75％以上低減された。
• 知識統合アルゴリズムは、異種センサモダリティからのモデルを効果的に統合し、ドメインシフトが生じてもクロスプラットフォームの転移学習を可能にした。