[論文レビュー] Semantic HELM: A Human-Readable Memory for Reinforcement Learning

Fabian Paischer, Thomas Adler+2 more|arXiv (Cornell University)|Jun 15, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、視覚的観測を自然言語トークンにマッピングするためのCLIPを用い、その後に事前学習済み言語モデルがそれらを処理して一貫性があり解釈可能な記憶を形成する、強化学習のための人間が読み取り可能な記憶メカニズム、Semantic HELMを提案する。この手法は、MiniGrid-Memory などの記憶に依存するタスクで最先端の性能を達成し、Psychlabの連続認識タスクにおいても、先行手法と比較して100倍速く収束する。さらに、記憶された知識を直接検査可能であるため、解釈性が向上する。

ABSTRACT

Reinforcement learning agents deployed in the real world often have to cope with partially observable environments. Therefore, most agents employ memory mechanisms to approximate the state of the environment. Recently, there have been impressive success stories in mastering partially observable environments, mostly in the realm of computer games like Dota 2, StarCraft II, or MineCraft. However, existing methods lack interpretability in the sense that it is not comprehensible for humans what the agent stores in its memory. In this regard, we propose a novel memory mechanism that represents past events in human language. Our method uses CLIP to associate visual inputs with language tokens. Then we feed these tokens to a pretrained language model that serves the agent as memory and provides it with a coherent and human-readable representation of the past. We train our memory mechanism on a set of partially observable environments and find that it excels on tasks that require a memory component, while mostly attaining performance on-par with strong baselines on tasks that do not. On a challenging continuous recognition task, where memorizing the past is crucial, our memory mechanism converges two orders of magnitude faster than prior methods. Since our memory mechanism is human-readable, we can peek at an agent's memory and check whether crucial pieces of information have been stored. This significantly enhances troubleshooting and paves the way toward more interpretable agents.

研究の動機と目的

• 部分的に観察可能な強化学習環境における、既存の記憶メカニズムの解釈性の欠如に取り組むこと。
• 過去の出来事の記述を自然言語で表現することで、エージェントが何を記憶しているかを人間が理解できるようにすること。
• 基礎モデルの微調整を必要とせず、効果的かつ解釈可能な記憶メカニズムを開発すること。
• 長期間の記憶を必要とする環境、特に従来の手法がサンプル効率に苦しむ環境で、この手法を評価すること。
• 意味的記憶が人間が読み取り可能な内省によって、トラブルシューティングやモデルのデバッグをどのように向上させるかを示すこと。

提案手法

• 固定されたCLIP視覚エンコーダーを用いて、視覚的観測をテキストと共有される埋め込み空間にマップし、意味的に関連する言語トークンを検索可能にする。
• CLIPのテキストエンコーダーの重複語彙から構築された意味的データベースを用い、迅速な検索が可能な概念埋め込みを格納する。
• 検索された言語トークンを、事前学習済み言語モデル（例：GPT-2）に供給し、履歴を文脈に即した記憶ベクトルに圧縮する。
• エージェントのポリシーは、現在の観測と圧縮された記憶ベクトルの両方を用いて行動を選択し、訓練中は記憶メカニズムが完全に固定される。
• 記憶コンponentの学習を回避し、基礎モデルの意味的一般化に依存することで、計算コストを削減する。
• 一部の環境（例：Avalon）では、フレームスキップ機構を導入し、メモリレジスタの負荷を軽減し、冗長性を低減する。

実験結果

リサーチクエスチョン

• RQ1 CLIPベースの視覚からテキストへの検索は、合成環境から意味的コンセプトを効果的に抽出できるか？
• RQ2 人間が読み取り可能な言語ベースの記憶メカニズムは、記憶に依存する強化学習タスクにおけるサンプル効率を向上させるか？
• RQ3 記憶メカニズムの解釈性が、デバッグやモデル分析をどの程度向上させるか？
• RQ4 長期間の記憶を要する環境において、意味的記憶の性能は強力なベースラインと比較してどうなるか？
• RQ5 連続認識タスクにおいて、この手法は先行手法と比較してより速く収束するか？

主な発見

• MiniGrid-Memory タスクでは、Semantic HELM が最先端の性能を達成し、記憶に依存する環境での有効性を示した。
• Psychlab の連続認識タスクでは、この手法は先行手法と比較して2桁分速く収束し、はるかに少ない相互作用ステップで高い性能を達成した。
• ViT-B/16 CLIPエンコーダーは、ResNet-50 よりも意味的検索において優れており、タスクパフォーマンスの大幅な向上をもたらした。
• 人間が読み取り可能な記憶により、格納された情報の直接的検査が可能となり、重要な出来事が記録されたかどうかの特定が可能になり、トラブルシューティングが向上した。
• Avalon では、限られた相互作用予算のもとで、最先端のベースラインと同等の性能を発揮しながら、解釈性を追加した。
• 非記憶に依存するタスクにおいても、この手法は強力なパフォーマンスを維持しており、記憶が不要な場面で性能が低下しないことが示された。