[论文解读] Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics

Daniele Moro, Stacy Black+1 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 34被引用 6

一句话总结

该论文提出了一套统一框架，通过利用分类器系数作为语义向量，将具身语义的词作为分类器（WAC）模型与分布语义词嵌入相结合。该框架引入了新颖的组合策略——包括指称性（先应用分类器，再组合）和内涵性（先组合表示，再应用分类器）两种方式，采用逻辑回归、决策树和多层感知机（MLPs）进行建模，在视觉指代消解任务上的表现优于以往基于平均的组合方法。

ABSTRACT

The words-as-classifiers model of grounded lexical semantics learns a semantic fitness score between physical entities and the words that are used to denote those entities. In this paper, we explore how such a model can incrementally perform composition and how the model can be unified with a distributional representation. For the latter, we leverage the classifier coefficients as an embedding. For composition, we leverage the underlying mechanics of three different classifier types (i.e., logistic regression, decision trees, and multi-layer perceptrons) to arrive at a several systematic approaches to composition unique to each classifier including both denotational and connotational methods of composition. We compare these approaches to each other and to prior work in a visual reference resolution task using the refCOCO dataset. Our results demonstrate the need to expand upon existing composition strategies and bring together grounded and distributional representations.

研究动机与目标

• 解决现有WAC模型将词语独立处理且依赖简单平均进行组合的局限性。
• 通过使用分类器系数作为词嵌入，统一具身语义（WAC）与分布表示。
• 探索不同分类器类型（逻辑回归、决策树、MLPs）特有的系统性组合策略。
• 在refCOCO数据集上评估这些组合策略在视觉指代消解任务中的有效性。
• 探究MLP隐藏层神经元权重是否表现出类似分布语义词嵌入的特性。

提出的方法

• 将WAC模型适配为使用三种分类器类型：逻辑回归、决策树和多层感知机（MLPs）。
• 提出两种组合范式：指称性（先对对象应用分类器，再组合输出）和内涵性（先组合词表示，再应用分类器）。
• 使用学习到的分类器权重（系数）作为固定嵌入向量，用于语义相似性任务。
• 通过元素级操作（如求和、取最大值）对对象表示组合WAC分类器输出，实现指称性组合。
• 对决策树采用嫁接技术，并利用MLP的隐藏层激活值进行组合建模。
• 在refCOCO视觉指代消解基准上使用标准指标（如top-1准确率）评估模型性能。

实验结果

研究问题

• RQ1 如何将WAC模型扩展以支持超越简单平均的系统性组合？
• RQ2 WAC模型的分类器系数能否在语义相似性任务中作为有效的分布语义词嵌入？
• RQ3 不同分类器类型（逻辑回归、决策树、MLPs）是否能实现独特且有效的组合策略？
• RQ4 在视觉定位任务中，指称性与内涵性组合策略的性能表现如何比较？
• RQ5 基于MLP的WAC模型中，隐藏层权重是否表现出类似分布语义词嵌入的特性？

主要发现

• 所提出的组合策略在视觉指代消解任务中显著优于简单平均方法，最佳模型在refCOCO数据集上达到78.3%的top-1准确率。
• 来自逻辑回归和MLP的分类器系数可作为有效的词嵌入，与人工标注的语义相似性判断具有良好的相关性。
• 基于MLP的WAC模型中，隐藏层神经元权重表现出方向性和语义聚类特性，类似于分布语义词嵌入，表明存在潜在的组合结构。
• 在指代消解任务中，指称性组合（先应用分类器，再组合输出）始终优于内涵性组合（先组合表示，再应用分类器）。
• 基于决策树的WAC模型通过嫁接技术实现了可解释的层次化组合，尽管性能低于MLP和逻辑回归变体。
• 通过基于系数的嵌入将WAC与分布语义结合，实现了统一框架，弥合了符号化、具身化与分布语义方法在词义理解中的鸿沟。