[論文レビュー] Robust Maximum Entropy Behavior Cloning

Mostafa Hussein, Brendan Crowe+2 more|arXiv (Cornell University)|Jan 4, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用数 4

ひとこと要約

本論文は、最大エントロピー方策学習の枠組み内でエントロピーに基づく重み付けを活用することで、悪意ある示範を自動的に検出し除外する、新たな強化学習フレームワークであるRobust Maximum Entropy Behavior Cloning (RM-ENT)を提案する。この手法は、シミュレータや追加のサンプルを必要とせず、悪意あるデータ汚染下でも標準的な行動クラーニングやIRLと比較して優れたロバスト性とサンプル効率を達成する。

ABSTRACT

Imitation learning (IL) algorithms use expert demonstrations to learn a specific task. Most of the existing approaches assume that all expert demonstrations are reliable and trustworthy, but what if there exist some adversarial demonstrations among the given data-set? This may result in poor decision-making performance. We propose a novel general frame-work to directly generate a policy from demonstrations that autonomously detect the adversarial demonstrations and exclude them from the data set. At the same time, it's sample, time-efficient, and does not require a simulator. To model such adversarial demonstration we propose a min-max problem that leverages the entropy of the model to assign weights for each demonstration. This allows us to learn the behavior using only the correct demonstrations or a mixture of correct demonstrations.

研究の動機と目的

• 悪意あるまたは誤った示範が方策性能を低下させる強化学習における顕著な限界に対処すること。
• 事前のラベル付けやシミュレータへのアクセスなしに、悪意ある示範を自動で同定・除外できる手法を開発すること。
• 最大エントロピーの原則を活用することで、ノイズ混在または悪意あるデータが存在する状況でも、高い性能とサンプル効率を維持すること。
• 一部の示範が最適でないか悪意ある場合でも、専門家示範のみを用いてロバストな方策学習を可能にすること。
• データ汚染下で、標準的な行動クラーニングや逆強化学習を上回る精度とロバスト性を達成すること。

提案手法

• 専門家と学習済み方策の特徴期待値の一致を制約しつつ、方策エントロピーを最大化するミニマックス最適化問題を定式化する。
• 各示範が方策エントロピーに与える寄与度に基づき、適応的な重みを割り当てることで、悪意あるまたはランダムな示範を効果的に特定・低減する。
• 制約付き最適化問題を解くためにラグランジュ緩和を用い、勾配ベースの手法によるエンドツーエンド学習を可能にする。
• 方策をニューラルネットワークでパラメータライズし、示範の信頼性と悪意あるものとの区別に役立つ重みを同時に学習する。
• シミュレータや追加のロールアウトを必要としないため、時間的・サンプル的にも効率的である。
• 方策分布のエントロピーを示範品質の代理指標として用いる：高いエントロピーは、よりランダム性や悪意ある行動を示唆する。

実験結果

リサーチクエスチョン

• RQ1 事前のラベル付けやシミュレータへのアクセスなしに、行動クラーニングフレームワークが悪意ある示範を自動で検出し除外できるか？
• RQ2 エントロピーに基づく重み付けは、データ汚染下での強化学習におけるロバスト性をどのように向上させるか？
• RQ3 提案手法は、悪意あるまたはランダムな示範が存在する状況で、標準的な行動クラーニングやIRLをどの程度上回るか？
• RQ4 多数の示範が悪意ある場合でも、この手法は高い性能を維持できるか？
• RQ5 既存のIRLおよびBCアプローチと比較して、この手法のサンプル効率と時間効率はどの程度か？

主な発見

• 5×5のグリッドワールドでは、RM-ENTが正しい示範に対して重み0.5、悪意ある示範に対して重み0.0を適切に割り当て、混合データセットで83%の精度を達成した。
• ランダムな示範が存在する状況では、92%の精度を達成し、エントロピーに基づく指標によってランダムまたは構造のない行動を効果的に検出できることが示された。
• マウンテンカーやアクロボットのタスクでは、悪意ある示範が導入されてもRM-ENTは安定した性能を維持したが、BCやIRLの精度は著しく低下した。
• OpenAI Gym環境における訓練時間の比較から、RM-ENTは競合するIRLおよびBCベースラインよりも高速に収束した。
• 悪意ある示範が正しいものよりも多い場合、すべての手法がランダムに似た方策に収束したが、RM-ENTは有効な検出により初期段階で他を上回った。
• 正しい示範がたった2つしかない状況でも、RM-ENTは悪意ある示範を効果的に除外できたため、信号対雑音比が低い状況でもロバストであることが証明された。