[論文レビュー] My Body is a Cage: the Role of Morphology in Graph-Based Incompatible Control

Vitaly Kurin, Maximilian Igl+3 more|arXiv (Cornell University)|Oct 5, 2020

EEG and Brain-Computer Interfaces被引用数 10

ひとこと要約

この論文は、グラフベースの強化学習における形態的構造が、不適合な連続制御タスクのパフォーマンスを向上させるという仮定に挑戦する。Amorpheusは、明示的な形態的グラフ構造を無視するトランスフォーマーに基づく手法を提案し、その構造に依存するGNNベースの手法よりも顕著に優れた性能を示す。これは、ノード特徴量そのものが、有効なマルチタスク学習を可能にするということを示している。

ABSTRACT

Multitask Reinforcement Learning is a promising way to obtain models with better performance, generalisation, data efficiency, and robustness. Most existing work is limited to compatible settings, where the state and action space dimensions are the same across tasks. Graph Neural Networks (GNN) are one way to address incompatible environments, because they can process graphs of arbitrary size. They also allow practitioners to inject biases encoded in the structure of the input graph. Existing work in graph-based continuous control uses the physical morphology of the agent to construct the input graph, i.e., encoding limb features as node labels and using edges to connect the nodes if their corresponded limbs are physically connected. In this work, we present a series of ablations on existing methods that show that morphological information encoded in the graph does not improve their performance. Motivated by the hypothesis that any benefits GNNs extract from the graph structure are outweighed by difficulties they create for message passing, we also propose Amorpheus, a transformer-based approach. Further results show that, while Amorpheus ignores the morphological information that GNNs encode, it nonetheless substantially outperforms GNN-based methods that use the morphological information to define the message-passing scheme.

研究の動機と目的

• グラフベースの強化学習において、形態的構造を明示的に符号化することが、不適合な連続制御タスクのパフォーマンスを向上させるかどうかを調査すること。
• 物理的形態に起因する構造的インダクティブバイアスが、グラフニューラルネットワーク（GNN）における学習を向上させるという広く共有された仮定に挑戦すること。
• 疎結合なグラフにおけるメッセージパッシングの制限を回避するために、完全結合型アテンションメカニズムを用いる新しい手法を開発すること。
• グラフ構造がパフォーマンスに本質的でない場合に、トランスフォーマーがGNNを上回ることを示すこと。
• GNNに符号化された形態的情報が、連続制御環境における学習を妨げる可能性があるという実証的証拠を提供すること。

提案手法

• Amorpheusは、マルチタスク強化学習における状態と行動特徴を処理するために、グラフニューラルネットワーク（GNN）の代わりにトランスフォーマーに基づくアーキテクチャを用いる。
• 各肢や身体部をシーケンス内の別個のトークンとして扱い、物理的接続性にかかわらずすべてのノード間で完全アテンションを実現する。
• マルチヘッド自己アテンションを用いて、観測の関連部分に動的に注目することで、メッセージパッシングの制約なしに柔軟な情報集約を可能にする。
• GNNとは異なり、物理的接続に基づいてエッジを通じて情報を伝搬するのではなく、すべてのノードペア間でアテンションスコアを計算し、推論時に実質的に完全に接続されたグラフを構築する。
• 各非トルソノードが自らの行動を出力するため、因子化された行動空間を可能にする。モデルは標準的なディープ強化学習アルゴリズムを用いてエンドツーエンドで訓練される。
• アーキテクチャは、疎結合グラフにおけるマルチホップメッセージパッシングを回避するように設計されており、サンプル効率性とロバスト性に優れている。

実験結果

リサーチクエスチョン

• RQ1 GNNのグラフ構造に物理的形態を明示的に符号化することで、マルチタスク連続制御におけるパフォーマンスが向上するか？
• RQ2 形態的構造を無視するモデルでも、不適合な環境で強力なパフォーマンスを達成できるか？
• RQ3 物理的接続性に起因するインダクティブバイアスは、GNNベースの連続制御における学習にとって有害であるか？
• RQ4 このタスクにおいて、完全結合型アテンションメカニズムが構造的メッセージパッシングを上回ることができるか？
• RQ5 構造に依存しないモデルは、トレーニング中にどのような、もしあるならば、自己組織的行動を示すか？

主な発見

• アブレーション実験では、SMP や NerveNet といったGNNベースの手法から形態的情報を除去してもパフォーマンスに悪影響が及たないことが示され、構造的バイアスが利益をもたらさないことが示された。
• Amorpheusは、不適合な連続制御ベンチマークにおいて、GNNベースのベースラインを最終パフォーマンスとサンプル効率性の両面で顕著に上回った。
• モデルは、歩行サイクルと整合する非自明な循環的アテンションパターンを学習しており、明示的な構造的事前知識がなくても、時間的・空間的連携を捉えている可能性を示唆している。
• 物理的接続性を無視しても、形態が異なるタスク間で強力な一般化性能を達成しており、ノード特徴量そのものが、効果的なポリシー学習に十分であることが示された。
• 結果から、疎結合グラフにおけるメッセージパッシングの学習は困難であり、物理的構造のインダクティブバイアスは学習を妨げる可能性があることが示唆された。
• Amorpheusは、入力グラフ構造が任意または情報が乏しい場合でも、トランスフォーマーが要因化された状態と行動空間を効果的に処理できることを示した。