[論文レビュー] Learning Object-conditioned Exploration using Distributed Soft Actor Critic

Ayzaan Wahid, Austin V. Stone+3 more|arXiv (Cornell University)|Jul 28, 2020

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本論文は、視覚的に複雑なシミュレーテッド住宅環境におけるエンドツーエンドのオブジェクト条件付き探索と低レベル制御のスケーラブルで分散型のソフトアクタクリティクス（SAC）強化学習フレームワークを提案する。8つのGPUを用いて24時間で9800万ステップの経験データを収集して訓練した結果、未観測の視覚的に複雑な住宅環境において68%の成功率と0.58のSPLを達成し、明示的な教師信号なしに自然な探索行動と連続的制御を学習した。

ABSTRACT

Object navigation is defined as navigating to an object of a given label in a complex, unexplored environment. In its general form, this problem poses several challenges for Robotics: semantic exploration of unknown environments in search of an object and low-level control. In this work we study object-guided exploration and low-level control, and present an end-to-end trained navigation policy achieving a success rate of 0.68 and SPL of 0.58 on unseen, visually complex scans of real homes. We propose a highly scalable implementation of an off-policy Reinforcement Learning algorithm, distributed Soft Actor Critic, which allows the system to utilize 98M experience steps in 24 hours on 8 GPUs. Our system learns to control a differential drive mobile base in simulation from a stack of high dimensional observations commonly used on robotic platforms. The learned policy is capable of object-guided exploratory behaviors and low-level control learned from pure experiences in realistic environments.

研究の動機と目的

• レイアウトやオブジェクトの位置に関する事前知識のない、視覚的に複雑で非構造的な環境における、スケーラブルでエンドツーエンドの強化学習ポリシーの開発。
• 現実的なシミュレーションにおいて、意味的探索（文脈的ヒントを用いたオブジェクトの特定）と低レベルの連続的制御（差動ドライブロボットの操作）の二重の課題に対処すること。
• 純粋な経験から、のぞき込み、後退し、目に見えるターゲットへ直進するといった、出現的探索行動（例：部屋のぞき込み、周囲360度の視認、探索不能時の後退）が自然に生じることを示すこと。
• センサモダリティ（例：RGBD、LiDAR）がナビゲーション性能と耐障害性に与える影響、特に狭い通路や長距離ナビゲーションにおいての影響を評価すること。

提案手法

• 本手法は、複数のGPUを介して並列な経験収集とモデル最適化を可能にする、ソフトアクタクリティクス（SAC）アルゴリズムの分散実装を採用する。
• ResNet50 + LSTMアーキテクチャが、高次元の観測値（例：RGB、深度、LiDAR）を処理し、差動ドライブロボットの連続的制御命令を出力する。
• 物理的モデリングを用いた実際の住宅スキャンに基づくシミュレーション環境で、エンドツーエンドに訓練される。低レベル制御の現実性を確保する。
• 事前地図や位置特定情報なしに、視覚的に豊富で複雑な環境での相互作用から経験を収集する。
• オフポリシーのデータを用いてポリシーを訓練し、データ収集コストを低減するためのサンプル効率を最大化する。
• センサにはRGB、深度、LiDARを用い、オブジェクト検出（Det）の性能への影響をアブレーションスタディで評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的な教師信号なしに、視覚的に複雑で現実世界に類似したシミュレーテッド環境において、1つのエンドツーエンドポリシーがオブジェクト条件付き探索と低レベル制御を学習できるか？
• RQ2 LiDARやオブジェクト検出（Det）の導入が、特に長距離または狭い通路の状況においてナビゲーション性能にどのように影響を与えるか？
• RQ3 この設定において、純粋な強化学習訓練から自然に生じる出現的探索行動（例：のぞき込み、円周移動、後退）は何か？
• RQ4 記憶制限（例：LSTM）が長期ナビゲーションに与える影響はどの程度で、その結果としてどのような失敗モードが生じるか？
• RQ5 経験収集と学習効率の観点から、分散型SACフレームワークのスケーラビリティはどの程度か？

主な発見

• 未観測の実際の住宅の視覚的に複雑なスキャンにおいて、68%の成功率と0.58のSPLを達成し、優れた一般化性能を示した。
• 部屋のぞき込み、360度視認のための周囲巡回、オブジェクトが見つからなかった場合の後退といった、自然で文脈に依存した探索行動をポリシーが学習した。
• ターゲットが視覚的に検出された後、のみ直進ナビゲーション（beeline navigation）が出現したため、知覚と制御の有効な統合が実現した。
• LiDARの使用により、特に狭いドアウェイで障害物回避が向上し、長距離ナビゲーションタスクでの性能が顕著に向上した。
• オブジェクト検出（Det）の導入により、すべてのオブジェクトタイプで性能が向上し、特に小さなターゲットや遠く離れたターゲットにおいて顕著だった。平均SPLは、Detなしで0.28、Detありで0.52に上昇した。
• 探索済み領域を再訪問したり、視界外のブラインドスポットに閉じ込められたりするような、非最適な行動が出現し、長期記憶や視界外の認識における限界が示された。