[論文レビュー] Action Assembly: Sparse Imitation Learning for Text Based Games with Combinatorial Action Spaces

Chen Tessler, Tom Zahavy+3 more|arXiv (Cornell University)|May 23, 2019

Multimodal Machine Learning Applications参考文献 36被引用数 11

ひとこと要約

この論文では、圧縮センシングと模倣学習を組み合わせることで、組み合わせ的行動空間を持つテキストベースのゲームを計算的に効率的に解く方法であるスパース模倣学習（Sparse-IL）を紹介する。密度の高い単語埋め込みの和から意味的な自然言語行動を再構築するために、新規の整数K正交マッチング Pursuit（IK-OMP）アルゴリズムを用いることで、完全なZork1ゲーム（約1000万の可能な行動を含む）を、完璧なおよびノイズのある専門家のデモンストレーションを用いて成功裏に解けるようになった。

ABSTRACT

We propose a computationally efficient algorithm that combines compressed sensing with imitation learning to solve text-based games with combinatorial action spaces. Specifically, we introduce a new compressed sensing algorithm, named IK-OMP, which can be seen as an extension to the Orthogonal Matching Pursuit (OMP). We incorporate IK-OMP into a supervised imitation learning setting and show that the combined approach (Sparse Imitation Learning, Sparse-IL) solves the entire text-based game of Zork1 with an action space of approximately 10 million actions given both perfect and noisy demonstrations.

研究の動機と目的

• 行動の列挙が計算的に非現実的であるテキストベースのゲームにおける組み合わせ的行動空間の課題に対処すること。
• 圧縮センシングと単語埋め込みを活用することで、従来の模倣学習の大きな行動空間における非効率性を克服すること。
• 自然言語環境における不完全またはノイズのある専門家のデモンストレーションから、頑健な方策学習を可能にすること。
• 事前学習済みの単語埋め込みを用いて、意味的に類似した行動（例：'drop'、'throw'、'discard'）の間で一般化できる手法を開発すること。
• 膨大な行動空間を伴う複雑なテキストベースのゲーム（例：Zork1）を、全行動の列挙なしにエンドツーエンドで解けるようにすること。

提案手法

• ゲーム状態を密度の高い連続的表現（a_SoE）にマップするニューラルエンコーダーを用い、これは意図した行動の単語埋め込みの和として定義される。
• 連続的埋め込みベクトルa_SoEから最も可能性の高いBag-of-Words（BoW）行動を再構築するために、整数K正交マッチング Pursuit（IK-OMP）を適用する。
• 候補となるBoW行動をスコア付けするためのフィットネス関数を組み込み、環境で実行する最良の行動を選択する。
• 選択された行動を言語モデルに供給し、ゲームインタプリタが解析可能な自然言語コマンド（a_env）を生成する。
• 予測されたa_SoEベクトルとデモンストレーション済みのa_SoEベクトルとの間の平均二乗誤差（MSE）を用いて、エンコーダーを教師あり模倣学習で訓練する。
• 意味的一般化を可能にするために、事前学習済みの単語埋め込み（例：GloVe）を活用し、同義語やノイズに対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 圧縮センシング技術は、大規模な組み合わせ的行動空間における学習済み埋め込み表現から自然言語行動を効果的に回復するために適応可能か？
• RQ2 ノイズや汚染された埋め込み和からの真の行動の再構築において、提案されたIK-OMPアルゴリズムは、ベースラインのCS手法に比べてどのように性能を発揮するか？
• RQ3 埋め込みベースの行動表現を用いた模倣学習は、語彙的に異なるが意味的に類似した行動（例：'drop'、'throw'、'discard'）の間でどの程度一般化できるか？
• RQ4 圧縮センシングと模倣学習のハイブリッドアプローチは、ノイズのあるデモンストレーションのみを用いても、約1000万の行動を伴う完全なZork1ゲームを解けるか？
• RQ5 エンドツーエンド学習と比較して、事前学習済みの単語埋め込みの使用は、方策の一般化とデモンストレーション誤りに対する耐性を顕著に向上させるか？

主な発見

• Sparse-ILは、専門家のデモンストレーションを用いた模倣学習により、初めて完全な1000万行動のZork1ゲームを解けるようになった。
• IK-OMPは、再構築精度および下流タスクのパフォーマンスの両面で、ベースラインのCS手法やDeepCS-2のようなエンドツーエンドモデルを上回り、とくにノイズのあるデモンストレーション下でも優れた性能を示した。
• 事前学習済み単語埋め込みが持つ意味的インダクティブバイアスのおかげで、意味的に類似した行動（例：'drop'、'throw'、'discard'）に対して効果的に一般化できた。
• デモンストレーションで最適でない行動を40％の確率で受ける状況下でも、Sparse-ILは高いパフォーマンスを維持し、専門家のデータにノイズが混入しても頑健であることを示した。
• 訓練プロセスでは、埋め込み表現の信号対雑音比（SNR）が一貫して向上しており、クリーンな行動表現の学習が効果的に行われていることが示された。
• a_SoEとしての埋め込みの和を教師信号として用いることで、意味的に類似した単語が埋め込み空間で幾何学的にクラスタリングされるため、直接BoWベクトルを予測するのと比較して一般化性能が向上した。