[论文解读] Identifying concept libraries from language about object structure

Catherine Wong, William P. McCarthy+6 more|arXiv (Cornell University)|May 11, 2022

Semantic Web and Ontologies被引用 6

一句话总结

该论文通过将2,000个程序生成的物体的自然语言描述与程序化表示相结合，识别出人们用于描述物体结构的基本概念库。采用类机器翻译的评估方法对程序库进行分析，揭示出一个核心的信息论权衡：人们倾向于选择既能最小化概念库规模又能最小化物体描述长度的词汇，从而实现高效且可重用的基于部件的表征。

ABSTRACT

Our understanding of the visual world goes beyond naming objects, encompassing our ability to parse objects into meaningful parts, attributes, and relations. In this work, we leverage natural language descriptions for a diverse set of 2K procedurally generated objects to identify the parts people use and the principles leading these parts to be favored over others. We formalize our problem as search over a space of program libraries that contain different part concepts, using tools from machine translation to evaluate how well programs expressed in each library align to human language. By combining naturalistic language at scale with structured program representations, we discover a fundamental information-theoretic tradeoff governing the part concepts people name: people favor a lexicon that allows concise descriptions of each object, while also minimizing the size of the lexicon itself.

研究动机与目标

• 识别人们用于在心理上分解复杂视觉物体的部件概念集合。
• 理解为何在自然语言描述中某些部件概念比其他概念更受青睐。
• 使用编码部件与关系的符号程序库，对人类概念表征进行建模。
• 评估候选概念库在预测人类对物体结构语言描述方面的表现。
• 揭示支配人类部件命名与抽象化过程的底层信息论原则。

提出的方法

• 使用图形程序生成2,000个新物体，划分为两个领域（绘画与塔楼），每个领域下设四个子领域（如车辆、城堡）。
• 从465名参与者处收集开放式自然语言描述，以捕捉人们描述物体结构的方式。
• 将问题形式化为对候选程序库的搜索，每个程序库编码不同集合的部件概念，并具有不同的抽象层级。
• 采用类机器翻译的框架，评估语言描述与每个候选库生成的程序之间的匹配程度。
• 将表征成本度量为库大小与平均描述长度之和，以最小化联合成本为目标进行优化。
• 通过搜索识别出在多样化物体类别中平衡词汇紧凑性与描述效率的最优库。

实验结果

研究问题

• RQ1 人们在描述复杂物体时使用哪些部件概念？为何这些概念更受青睐？
• RQ2 人类语言的结构在多大程度上反映了用于物体分解的底层概念库？
• RQ3 人们在命名物体部件时，多大程度上平衡词汇规模与描述长度？
• RQ4 形式化的程序库模型在多大程度上能预测人类在描述物体结构时的语言行为？
• RQ5 支配人类视觉认知中部件概念选择的信息论原则是什么？

主要发现

• 人们对具有更长生成程序表示的物体产生更长的语言描述，表明程序复杂性与语言复杂性之间存在直接关联。
• 最有效的概念库通过最小化库大小与平均描述长度的联合成本函数，揭示出人类概念表征中的根本性权衡。
• 最优库在多个物体间持续重用高层次部件概念（如“一排纽扣”、“旋钮”），表明人们偏好可重用的抽象组件。
• 最小化表征成本的库与最能预测人类语言的库之间存在强烈对应关系，验证了模型的准确性。
• 研究结果表明存在一个类似于物体分类中已知“基本层级”的部件抽象层级，其受信息论效率的支配。
• 结果支持存在一个紧凑且可重用的部件概念词汇，能够实现视觉结构的高效沟通与表征。