[论文解读] Generalized Earley Parser: Bridging Symbolic Grammars and Sequence Data for Future Prediction
本文提出了一种广义的Earley解析器，通过将符号型上下文无关文法与分类器输出的概率相结合，直接在原始未分割的序列数据上联合优化序列分割、标注和基于文法的未来预测。该方法在人类活动预测任务中优于最先进方法，通过启发式搜索在文法扩展的前缀树上利用非马尔可夫、组合式结构，实现了测试案例中43%的最优解析概率，并在CAD-120和Watch-n-Patch数据集上表现出更优的准确率。
Future predictions on sequence data (e.g., videos or audios) require the algorithms to capture non-Markovian and compositional properties of high-level semantics. Context-free grammars are natural choices to capture such properties, but traditional grammar parsers (e.g., Earley parser) only take symbolic sentences as inputs. In this paper, we generalize the Earley parser to parse sequence data which is neither segmented nor labeled. This generalized Earley parser integrates a grammar parser with a classifier to find the optimal segmentation and labels, and makes top-down future predictions. Experiments show that our method significantly outperforms other approaches for future human activity prediction.
研究动机与目标
- 为解决在视频或音频等原始未分割序列数据中预测未来标签的挑战，因为传统符号解析器无法直接应用。
- 通过联合优化分割、标注和文法合规性，弥合符号型上下文无关文法与连接主义分类器之间的鸿沟。
- 通过将高层文法结构与低层分类器输出相结合，实现自顶向下的非马尔可夫未来预测。
- 开发一种原则性、通用的解析框架，适用于多种序列数据的解析与预测任务。
提出的方法
- 将经典Earley解析器扩展至直接处理帧上的概率分类器输出，将其视为标签置信度输入矩阵。
- 在根据文法规则扩展的前缀树上执行启发式搜索，其中从根到节点的每条路径代表一个部分标签句子。
- 利用分类器输出计算前缀概率，以引导搜索朝向最可能的语法正确句子。
- 采用三种核心操作——扫描、预测和完成——并将其适配于概率输入，以保持文法一致性与似然度优化。
- 采用动态规划方法缓存并传播部分解析的概率，确保对搜索空间的高效探索。
- 将文法约束直接整合到搜索过程中，通过仅考虑语法正确的句子来避免局部极小值。
实验结果
研究问题
- RQ1能否将基于文法的解析器泛化，以直接在未分割、原始的序列数据上运行，而无需预分割或预标注？
- RQ2如何有效结合符号型上下文无关文法与概率分类器输出，以联合优化分割、标注和未来预测？
- RQ3通过文法引入非马尔可夫、组合式结构是否能提升未来预测性能，相比马尔可夫模型？
- RQ4该解析器能否稳健处理噪声或不完整数据，例如人类活动序列中被遗忘的动作？
主要发现
- 广义Earley解析器在示例中实现了最优标签句子'0 + 1'的最终解析概率为0.43，证明了文法与似然度的联合优化效果显著。
- 在CAD-120数据集上，该方法在人类活动未来预测任务中显著优于最先进方法，验证了其在捕捉组合性与非马尔可夫动态方面的优越性。
- 在Watch-n-Patch数据集上，该方法对噪声和不完整序列表现出鲁棒性，尤其在'动作补丁'场景中表现优异，即动作被遗忘时。
- 解析器通过文法解析树生成高度可解释性，为预测提供了可解释的推理路径。
- 该方法在多种序列数据类型上均表现出色，证实了其在特定领域之外的通用适用性。
- 符号推理与神经分类器输出的集成显著提升了预测准确率，凸显了混合符号-连接主义架构的价值。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。