[论文解读] Bidirectional Beam Search: Forward-Backward Inference in Neural Sequence Models for Fill-in-the-Blank Image Captioning

Qing Sun, Stefan Lee+1 more|arXiv (Cornell University)|May 24, 2017

Multimodal Machine Learning Applications参考文献 31被引用 5

一句话总结

本文提出了双向束搜索（BiBS），这是首个针对双向神经序列模型中1-Best与M-Best解码的高效近似推理算法，能够在序列生成过程中联合考虑过去和未来的上下文信息。在一项新颖的填空式图像字幕任务和Visual Madlibs任务上进行评估，BiBS显著优于单向束搜索及先前方法，在BLEU-1与BLEU-2指标上达到最先进性能，通过有效利用双向上下文实现更连贯、更准确的序列补全。

ABSTRACT

We develop the first approximate inference algorithm for 1-Best (and M-Best) decoding in bidirectional neural sequence models by extending Beam Search (BS) to reason about both forward and backward time dependencies. Beam Search (BS) is a widely used approximate inference algorithm for decoding sequences from unidirectional neural sequence models. Interestingly, approximate inference in bidirectional models remains an open problem, despite their significant advantage in modeling information from both the past and future. To enable the use of bidirectional models, we present Bidirectional Beam Search (BiBS), an efficient algorithm for approximate bidirectional inference.To evaluate our method and as an interesting problem in its own right, we introduce a novel Fill-in-the-Blank Image Captioning task which requires reasoning about both past and future sentence structure to reconstruct sensible image descriptions. We use this task as well as the Visual Madlibs dataset to demonstrate the effectiveness of our approach, consistently outperforming all baseline methods.

研究动机与目标

• 为解决双向神经序列模型缺乏高效近似推理算法的问题，这类模型虽能建模过去和未来上下文，但因推理挑战而未被充分利用。
• 开发一种新型推理方法，通过将束搜索扩展至同时推理前向与后向依赖关系，实现在双向RNN中进行1-Best与M-Best解码。
• 构建一个具有挑战性的新基准——填空式图像字幕任务，以测试模型整合缺失片段两侧上下文的能力。
• 证明标准束搜索因单向上下文限制而在此任务上失效，导致生成语法错误或不连贯的补全结果。
• 在真实世界的序列补全任务上评估BiBS，结果表明其在强基线（包括基于检索的方法）上持续取得性能提升。

提出的方法

• BiBS通过在每个时间步维护前向和后向隐藏状态，扩展了传统束搜索，使模型在解码过程中能同时依赖过去和未来上下文。
• 该算法通过结合前向与后向概率，近似输出序列的联合分布，从而实现序列得分的高效计算。
• 在每个束搜索步骤中，BiBS利用前向和后向RNN状态扩展部分序列，然后根据组合得分选择前B个序列。
• 该方法通过在束搜索过程中保持多个候选序列，支持1-Best与M-Best解码。
• 其采用联合评分函数，结合前向与后向似然：P(y_t | h^f_t, h^b_t) ≈ P(y_t | h^f_t) × P(y_t | h^b_t)，并进行一致性调整。
• 该方法被集成到CNN+LSTM框架中用于图像字幕生成，训练与推理在视觉与语言输入上端到端进行。

实验结果

研究问题

• RQ1 能否为双向RNN开发一种支持1-Best与M-Best解码的高效近似推理算法？
• RQ2 联合建模前向与后向依赖关系在填空式任务中如何提升序列补全性能？
• RQ3 BiBS是否在Visual Madlibs等序列补全基准上优于单向束搜索与基于检索的基线方法？
• RQ4 在存在缺失片段的设置下，BiBS是否能生成比标准束搜索更符合语法规则且上下文更连贯的补全结果？
• RQ5 未知空白长度对BiBS性能的影响如何，相较于其他方法表现如何？

主要发现

• 在空白长度已知的Visual Madlibs数据集上，BiBS取得BLEU-2得分为0.216，优于所有基于生成的基线方法，并超越nCCA的Oracle方法。
• 在空白长度未知的情况下，BiBS取得BLEU-2得分为0.190，优于所有基于生成的基线方法，且与基于检索的方法保持竞争力。
• BiBS显著减少了单向束搜索输出中常见的语法错误与突兀过渡（如“with a how to”）问题。
• 该方法在Visual Madlibs的type-7（物体功能）与type-12（成对关系）问题类型上均达到最先进性能。
• BiBS在不同空白长度下表现出鲁棒性，在已知与未知长度设置下均持续优于单向束搜索及其他基线方法。
• 结果证实，结合恰当推理的双向建模对于实现连贯的序列补全是至关重要的，而BiBS使这一目标在实践中得以实现。