[论文解读] Interpreting Embedding Spaces by Conceptualization

Adi Simhi, Shaul Markovitch|arXiv (Cornell University)|Aug 22, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种与模型无关的方法，通过将大语言模型（LLMs）的潜在嵌入空间映射到人类可理解的概念空间，实现对这些空间的解释。该方法利用输入向量与概念表征之间的相似性度量（例如余弦相似度），生成可解释的、动态粒度的概念嵌入，从而在人类和基于LLM的评估中验证下，实现高语义保真度的模型调试、偏见检测以及跨模型比较。

ABSTRACT

One of the main methods for computational interpretation of a text is mapping it into a vector in some embedding space. Such vectors can then be used for a variety of textual processing tasks. Recently, most embedding spaces are a product of training large language models (LLMs). One major drawback of this type of representation is their incomprehensibility to humans. Understanding the embedding space is crucial for several important needs, including the need to debug the embedding method and compare it to alternatives, and the need to detect biases hidden in the model. In this paper, we present a novel method of understanding embeddings by transforming a latent embedding space into a comprehensible conceptual space. We present an algorithm for deriving a conceptual space with dynamic on-demand granularity. We devise a new evaluation method, using either human rater or LLM-based raters, to show that the conceptualized vectors indeed represent the semantics of the original latent ones. We show the use of our method for various tasks, including comparing the semantics of alternative models and tracing the layers of the LLM. The code is available online https://github.com/adiSimhi/Interpreting-Embedding-Spaces-by-Conceptualization.

研究动机与目标

• 为解决大语言模型（LLMs）产生的潜在向量表示缺乏可解释性的问题，该问题阻碍了调试、偏见检测和模型比较。
• 开发一种与模型无关的方法，无需微调或访问模型内部结构，仅需黑箱访问嵌入函数。
• 生成一个概念嵌入空间，其中每个维度对应一个人类可理解的概念，从而实现对向量语义的直观解释。
• 实现按需、选择性地对特定主题或领域进行概念空间的细化。
• 提供一种新的嵌入可解释性评估框架，结合人工评分者和基于LLM的评估者。

提出的方法

• 该方法定义了一个元算法——CES（概念化嵌入空间），通过一组概念及其文本描述，将潜在向量映射到概念空间。
• 每个概念通过LLM的嵌入函数映射到潜在空间中的对应向量，形成一组参考向量 $\widehat{c}_i = f(\tau(c_i))$。
• 对于任意输入向量 $l$，该算法计算其与每个概念向量的相似度 $sim(l, \widehat{c}_i)$，从而形成一个概念向量 $\langle sim(l, \widehat{c}_1), \dots, sim(l, \widehat{c}_n) \rangle^T$。
• 该方法通过允许根据用户兴趣选择性地添加或细化概念，支持动态粒度。
• 当使用余弦相似度和归一化嵌入时，可通过矩阵乘法加速计算，从而实现高效的推理。
• 该方法与底层模型无关，仅需对嵌入函数进行黑箱访问。

实验结果

研究问题

• RQ1 是否可以在不进行微调或访问模型的情况下，有效将潜在嵌入空间转换为人类可理解的概念空间？
• RQ2 概念化表示在多大程度上保留了原始潜在向量的语义含义？
• RQ3 该方法是否能够支持对特定领域或主题的按需、动态粒度细化？
• RQ4 在语义保真度和用于调试或偏见检测的实用性方面，该概念化方法与现有可解释性技术相比如何？
• RQ5 基于LLM的评估者在多大程度上能可靠地评估概念化嵌入的质量，且其判断与人工判断是否一致？

主要发现

• 所提出的概念化方法实现了高语义保真度，人工评估显示原始向量与概念化向量之间具有高度一致性。
• 基于LLM的评估确认，概念化向量准确反映了原始潜在表示的语义。
• 该方法能够有效比较不同LLM之间的差异，揭示其嵌入空间中的语义差异。
• 该方法成功追踪了LLM各层之间的语义变化，揭示了表示在处理过程中的演化过程。
• 该方法支持对概念空间的选择性细化，允许在不重新训练的情况下聚焦于特定主题的分析。
• 该框架在调试和偏见检测方面具有有效性，能够揭示嵌入空间中存在问题或偏差的概念映射。