[論文レビュー] lamBERT: Language and Action Learning Using Multimodal BERT

Kazuki Miyazawa, Tatsuya Aoki+2 more|arXiv (Cornell University)|Apr 15, 2020

Topic Modeling参考文献 27被引用数 11

ひとこと要約

本論文は、マルチモーダルな表現を拡張し、強化学習と統合することで言語と行動の学習を統合するBERTベースのモデル、lamBERTを提案する。マルチタスクおよびトランスファー学習の設定において、ベースラインと比較してより高い累積報酬を達成しており、体現的エージェントにおける意味的言語理解のためのマスクド言語モデリングによる事前学習の有効性を示している。

ABSTRACT

Recently, the bidirectional encoder representations from transformers (BERT) model has attracted much attention in the field of natural language processing, owing to its high performance in language understanding-related tasks. The BERT model learns language representation that can be adapted to various tasks via pre-training using a large corpus in an unsupervised manner. This study proposes the language and action learning using multimodal BERT (lamBERT) model that enables the learning of language and actions by 1) extending the BERT model to multimodal representation and 2) integrating it with reinforcement learning. To verify the proposed model, an experiment is conducted in a grid environment that requires language understanding for the agent to act properly. As a result, the lamBERT model obtained higher rewards in multitask settings and transfer settings when compared to other models, such as the convolutional neural network-based model and the lamBERT model without pre-training.

研究の動機と目的

• マルチモーダル表現を用いて、体現的エージェントにおける統合的言語と行動の学習のための統一フレームワークの構築を目的とする。
• ロボット学習における曖昧な人間の言語命令と動的環境の課題に対処することを目的とする。
• 言語および視覚モダリティの事前学習を通じて、移譲可能でマルチタスク対応可能なポリシーを可能とすることを目的とする。
• BERT風の事前学習が、意味的言語理解のための強化学習における意思決定を改善するかどうかを調査することを目的とする。
• 大規模なラベル付きデータセットに依存せずに、自己収集した経験から学習できるようにすることを目的とする。

提案手法

• テキストと視覚的グリッド状態の両方のトークン埋め込みを連結することで、BERTアーキテクチャをマルチモーダル入力（言語と視覚的グリッド状態）を処理できるように拡張する。
• 言語と環境の統合表現を学ぶために、補助的な事前学習目的としてマスクド言語モデリングタスクを導入する。
• 強化学習の設定において、ポリシーネットワークの特徴抽出器として、事前学習済みマルチモーダルBERTエンコーダーを用いる。
• スパarsな密集報酬を用いて強化学習を適用し、エージェントがグリッドワールド環境で自然言語指示に従うように訓練する。
• 言語トークンと環境の視覚的要素の間の依存関係をモデル化するために、自己注意メカニズムを用いる。
• 注意重みを用いて、事前学習が意思決定および表現学習に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 マスクド言語および視覚入力での事前学習が、言語誘導型ナビゲーションにおけるゼロショットおよびフェイントショットのトランスファー性能を向上させるか？
• RQ2 マルチモーダルBERT事前学習が、強化学習設定における言語-環境統合表現の質に与える影響は何か？
• RQ3 補助的なマスク予測タスクが、マルチタスクおよびトランスファー学習の場面におけるサンプル効率性と累積報酬を向上させるか？
• RQ4 事前学習済みモデルにおける注意メカニズムが、意思決定の過程で関連のある言語的および視覚的キューに意味的に適切に注目している程度は何か？
• RQ5 統一アーキテクチャが、自己教師付き事前学習と強化学習を用いて、言語理解と行動ポリシーの両方を効果的に学習できるか？

主な発見

• lamBERTは、マルチタスク強化学習設定において、CNNベースのベースラインと比較して顕著に高い累積報酬を達成した。
• 事前学習なしのバージョンと比較してlamBERTが優れた性能を示し、自己教師付きマスク予測事前学習の利点を裏付けた。
• トランスファー学習の場面でも性能が向上し、事前学習済み表現がタスク間で一般化できることを示した。
• 注意可視化により、事前学習済みモデルが意味的に関連のある言語トークンおよび環境的特徴に注目していることが明らかになった。これは、有効な概念のグラウンディングを示唆している。
• 補助的なマスク予測タスクが、より良いポリシー学習に寄与しており、高い報酬と改善された一般化性能によって裏付けられた。
• BERT風の事前学習と強化学習の統合により、スパarsな報酬と限られたラベル付きデータからの有効な学習が可能になった。