[论文解读] Ecological Semantics: Programming Environments for Situated Language Understanding

Ronen Tamari, Gabriel Stanovsky+2 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling参考文献 41被引用 4

一句话总结

本文提出生态语义学——一种框架，其中自然语言理解系统将环境视为一等实体，使用受互动小说启发的编程语言来建模可供性（行动可能性），实现具身化、可泛化的自然语言理解。通过使模型既能理解又能通过语言生成环境规范，该方法支持可扩展的、可执行的常识知识挖掘，并提升对静态数据集之外的泛化能力。

ABSTRACT

Large-scale natural language understanding (NLU) systems have made impressive progress: they can be applied flexibly across a variety of tasks, and employ minimal structural assumptions. However, extensive empirical research has shown this to be a double-edged sword, coming at the cost of shallow understanding: inferior generalization, grounding and explainability. Grounded language learning approaches offer the promise of deeper understanding by situating learning in richer, more structured training environments, but are limited in scale to relatively narrow, predefined domains. How might we enjoy the best of both worlds: grounded, general NLU? Following extensive contemporary cognitive science, we propose treating environments as "first-class citizens" in semantic representations, worthy of research and development in their own right. Importantly, models should also be partners in the creation and configuration of environments, rather than just actors within them, as in existing approaches. To do so, we argue that models must begin to understand and program in the language of affordances (which define possible actions in a given situation) both for online, situated discourse comprehension, as well as large-scale, offline common-sense knowledge mining. To this end we propose an environment-oriented ecological semantics, outlining theoretical and practical approaches towards implementation. We further provide actual demonstrations building upon interactive fiction programming languages.

研究动机与目标

• 为解决当前自然语言理解系统依赖静态、狭窄数据集且缺乏深层具身化、可解释性及系统性泛化的问题。
• 克服现有具身化语言学习在可扩展性与具身性之间的局限，通过将环境视为可编程、可重用的组件。
• 使自然语言理解模型能够通过可供性语言（例如：'这个包最多可承载20公斤'）理解并生成环境描述，作为结构化、可执行知识的基础。
• 通过统一框架整合符号性、具身性与分布性语义，使模型在交互式、程序化环境中共同创建并推理。
• 证明大规模离线常识知识挖掘与在线话语理解可通过根植于生态认知的行为编程范式实现统一。

提出的方法

• 提出一种语义解析框架——生态语义编程（Ec-SP），将自然语言环境描述映射为可执行的程序化表示，采用行为编程范式。
• 使用互动小说（IF）语言（如Inform7）作为形式化表示，将动作与约束（例如：'可承载'、'不可超过'）编码为可执行规则。
• 区分编译知识（可重用的环境库，例如：'西瓜可携带'）与情境特定知识（在线定义的生态行为），以实现增量式、可扩展的模拟器增长。
• 利用自动化知识库构建（AKBC）和现有知识图谱，为模拟器注入初始对象与动作属性。
• 不仅将自然语言理解模型作为环境中的执行者，更使其作为通过语言定义和配置环境的主动参与者。
• 采用两阶段流程：(1) 离线挖掘富含可供性的文本描述以构建知识库；(2) 通过动态环境模拟实现在线话语理解执行。

实验结果

研究问题

• RQ1 自然语言理解系统如何通过将环境视为一等语义实体而非静态上下文，实现更深层次、更具泛化能力的理解？
• RQ2 可供性语言（例如：'可'、'不可'、'在爆裂前'）能否被形式化为可扩展、可执行知识表示的程序接口？
• RQ3 自然语言理解模型在多大程度上能够通过自然语言共同创建和配置环境，而非仅在预定义环境中行动？
• RQ4 如何通过共享的程序化框架统一大规模离线常识知识挖掘与实时、情境化话语理解？
• RQ5 程序化、行为化表示在实现超越分布统计的系统性泛化与因果推理方面发挥何种作用？

主要发现

• 该框架使自然语言理解系统能够推理涉及物理约束的'如果...会怎样'类情景（例如：'这个包会爆裂吗？'），而当前的文本蕴涵模型即使在信息明确的情况下也难以处理此类问题。
• 通过在行为编程语言中将可供性编码为可执行规则，系统支持标准分布模型无法企及的系统性泛化与因果推理。
• 使用Inform7的演示表明，通过动态环境构建，可同时处理常识性与因果性推理任务，其在线交互版本已公开提供。
• 通过区分可重用的编译知识（例如：'水果可食用'）与即时生成的情境特定生态行为，该方法实现可扩展的知识增长，减少冗余并提升可维护性。
• 将自然语言理解与类编程的环境创作相结合，使模型能够作为语义世界的共同创造者，超越被动执行，实现主动的知识结构化。
• 该方法通过将语言扎根于反映生态规律的可执行、交互式模拟，成功展示了在统一符号性、具身性与分布性语义方面的可行性。