[论文解读] BabyAI 1.1

David Yu-Tung Hui, Maxime Chevalier-Boisvert+2 more|arXiv (Cornell University)|Jul 24, 2020

Spectroscopy Techniques in Biomedical and Chemical Research被引用 4

一句话总结

BabyAI 1.1 通过三项架构与表征改进，提升了训练智能体遵循具身语言指令的样本效率：在视觉编码器中移除最大池化层，为 FiLM 层添加残差连接，并采用词袋（Bag-of-Words, BOW）表征处理视觉输入。这些改进使强化学习的样本效率最高提升3倍，同时将最难关卡（BossLevel）的模仿学习成功率从77%提升至90.4%。

ABSTRACT

The BabyAI platform is designed to measure the sample efficiency of training an agent to follow grounded-language instructions. BabyAI 1.0 presents baseline results of an agent trained by deep imitation or reinforcement learning. BabyAI 1.1 improves the agent's architecture in three minor ways. This increases reinforcement learning sample efficiency by up to 3 times and improves imitation learning performance on the hardest level from 77 % to 90.4 %. We hope that these improvements increase the computational efficiency of BabyAI experiments and help users design better agents.

研究动机与目标

• 提升在 BabyAI 环境中训练智能体以遵循具身语言指令的样本效率。
• 解决原始 BabyAI 1.0 智能体架构的局限性，特别是信息流与训练效率问题。
• 提升在最困难关卡（尤其是 BossLevel）的模仿学习性能，该关卡基线成功率仅为77%。
• 通过优化网络架构与视觉表征，提升实验的计算效率。
• 为未来视觉-语言指令遵循与零样本泛化研究提供更稳健、可扩展的基础。

提出的方法

• 在视觉编码器的早期阶段移除最大池化层，以保留空间分辨率并改善高层特征的信息流。
• 在 FiLM 层周围引入残差连接，以稳定训练并改善视觉-语言融合模块中的梯度流动。
• 将原始基于整数的方块表征替换为学习得到的词袋（Bag-of-Words, BOW）嵌入，其中每个方块属性（类型、颜色、状态）通过查表嵌入后取平均。
• 将 3 通道 RGB 图像表示作为替代视觉输入，将 7×7 网格转换为 56×56×3 张量，以支持端到端 CNN 处理。
• 使用深度强化学习（PPO）与模仿学习（行为克隆）联合训练智能体，并对架构与视觉表征变体进行消融实验。
• 在多个关卡上评估性能，包括单间（小）与多间（大）环境，以成功率与训练样本效率为主要指标。

实验结果

研究问题

• RQ1 架构修改（特别是移除最大池化与添加残差连接）在 BabyAI 平台的强化学习中对样本效率有何影响？
• RQ2 相较于原始基于整数的表征，采用词袋（BOW）视觉表征在模仿学习中的性能提升程度如何？
• RQ3 视觉输入表征方式（BOW vs. 像素 vs. 原始）对不同关卡的训练效率与最终性能有何影响？
• RQ4 架构与表征改进的组合是否能显著提升最困难关卡（BossLevel）的性能，该关卡基线成功率仅为77%？
• RQ5 这些改进对计算效率有何影响，特别是在强化学习训练期间的每秒帧数（frames per second）方面？

主要发现

• 在视觉编码器中移除最大池化层，使强化学习的样本效率最高提升3倍，显著减少了所需训练回合数。
• 在 FiLM 层周围添加残差连接，虽在所有任务上表现不一，但在最困难任务（特别是 GoToLocal 与 PutNextLocal）中显著提升了样本效率。
• 采用词袋（BOW）视觉表征，使最难关卡（BossLevel）的模仿学习成功率从77%提升至90.4%，显著增强了零样本泛化能力。
• BOW 表征在六个最简单关卡上实现了接近完美的模仿学习性能（成功率≥99.5%），仅需10,000次示范，优于原始与像素基表征。
• 采用残差连接的 BOW 架构（bow_endpool_res）在强化学习与模仿学习中均取得最佳整体性能，成功率最高且收敛最快。
• 使用像素基视觉输入进行训练时，需将学习率降低至 5×10⁻⁵ 才能稳定训练，尤其在最复杂关卡上，表明其训练难度高于 BOW 与原始表征。