[論文レビュー] Differential Advising in Multi-Agent Reinforcement Learning

Dayong Ye, Tianqing Zhu+3 more|arXiv (Cornell University)|Nov 7, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用数 4

ひとこと要約

本稿では、微分プライバシーの原則を活用することで、わずかに異なる状態からの助言をエージェントが使用できるようにするマルチエージェント強化学習における微分助言（DA-RL）を提案する。従来の方法が厳密な状態一致を要求するのに対し、DA-RLはこの制限を緩和することで、複雑な環境において学習効率を向上させ、離散的および連続的設定の両方でベースライン手法よりも高速な収束と優れたパフォーランスを達成する。

ABSTRACT

Agent advising is one of the main approaches to improve agent learning performance by enabling agents to share advice. Existing advising methods have a common limitation that an adviser agent can offer advice to an advisee agent only if the advice is created in the same state as the advisee's concerned state. However, in complex environments, it is a very strong requirement that two states are the same, because a state may consist of multiple dimensions and two states being the same means that all these dimensions in the two states are correspondingly identical. Therefore, this requirement may limit the applicability of existing advising methods to complex environments. In this paper, inspired by the differential privacy scheme, we propose a differential advising method which relaxes this requirement by enabling agents to use advice in a state even if the advice is created in a slightly different state. Compared with existing methods, agents using the proposed method have more opportunity to take advice from others. This paper is the first to adopt the concept of differential privacy on advising to improve agent learning performance instead of addressing security issues. The experimental results demonstrate that the proposed method is more efficient in complex environments than existing methods.

研究の動機と目的

• 既存のエージェント助言手法が、助言の転送に同一状態を必要とすることの制限を解消すること。
• 正確な状態一致がまれまたは現実的でない複雑なマルチエージェント環境における学習効率の向上。
• 近接または類似した状態で生成された助言からエージェントが利益を得られるようにすることにより、助言の可用性を向上させること。
• 微分プライバシーをセキュリティ目的ではなく、状態に頑健な助言転送を通じて学習パフォーマンスを向上させる目的で応用すること。
• 多様な環境における実験的評価を通じて、提案手法の有効性を示すこと。

提案手法

• 本手法は、状態の差がわずかである場合に限り、助言を再利用できる微分助言メカニズムを導入する。状態の差は、境界付きの状態差分メトリクスで定義される。
• 微分プライバシーの核心的原則（入力の小さな変化がほぼ同一の出力をもたらす）を適用し、近接状態からの助言が、ターゲット状態においてもほぼ妥当であることを保証する。
• 2つの状態間の異なる次元数に基づいて状態差分を測定し、『近さ』を判断するためのしきい値を設定する。
• 状態差分が事前に定義された境界内にある場合にのみ助言が使用され、関連性を確保するとともにパフォーマンスの劣化を最小限に抑える。
• 複数のエージェントからの助言を、助言の状態と現在の状態との類似度に応じた重み付き集約方式で統合する。
• エージェントがポリシーを学習すると同時に、他者からの助言を動的にアクセス・適用できるマルチエージェント強化学習フレームワークに本手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、現在の状態と同一でない状態で生成された助言を効果的に使用できるか？
• RQ2 厳密な状態一致要件を緩和することで、複雑な環境における学習速度とパフォーマンスにどのような影響を与えるか？
• RQ3 微分プライバシーの原則をプライバシー保護を越えて、マルチエージェント強化学習における助言転送の向上に再利用できる程度はどの程度か？
• RQ4 提案手法は、既存の助言付きおよび助言なしのベースライン手法と比較して、収束速度および最終パフォーマンスにおいてどのように差をつけるか？
• RQ5 状態類似度のしきい値が、助言の質と学習効率に与える影響は何か？

主な発見

• シンプルな環境では、DA-RLはSA-RLに比べて約10%速く収束し、標準的なRLに比べて20%速かった。
• 複雑な環境では、DA-RLは約500イテレーションで収束したのに対し、SA-RLは600、標準的RLは900であった。
• DA-RLは、SA-RLに比べて1ターゲットあたりの平均ステップ数を15–20%削減し、標準的RLに比べて40%削減した。
• 動的ターゲットシナリオでは、DA-RLはSA-RLに比べて平均報酬が10–15%高く、標準的RLに比べて20–30%高かった。
• 新規ターゲットが動的に導入されても、DA-RLは平均ターゲットあたりステップ数の指標において安定した収束を維持した。
• 実験的結果から、微分助言が複雑で高次元の環境における学習効率とスケーラビリティを顕著に向上させることを確認した。