[论文解读] Demystifying Embedding Spaces using Large Language Models

Guy Tennenholtz, Yinlam Chow+7 more|arXiv (Cornell University)|Oct 6, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种通过可训练适配器层将领域嵌入与大语言模型（LLMs）集成的框架，使密集向量表示能够通过自然语言进行查询。通过微调LLM以将嵌入解释为文本提示，该方法实现了对真实和假设性实体的可解释性、叙事驱动的分析，在增强概念激活向量、描述新物品以及解码推荐系统中的用户偏好方面表现出色。

ABSTRACT

Embeddings have become a pivotal means to represent complex, multi-faceted information about entities, concepts, and relationships in a condensed and useful format. Nevertheless, they often preclude direct interpretation. While downstream tasks make use of these compressed representations, meaningful interpretation usually requires visualization using dimensionality reduction or specialized machine learning interpretability methods. This paper addresses the challenge of making such embeddings more interpretable and broadly useful, by employing Large Language Models (LLMs) to directly interact with embeddings -- transforming abstract vectors into understandable narratives. By injecting embeddings into LLMs, we enable querying and exploration of complex embedding data. We demonstrate our approach on a variety of diverse tasks, including: enhancing concept activation vectors (CAVs), communicating novel embedded entities, and decoding user preferences in recommender systems. Our work couples the immense information potential of embeddings with the interpretative power of LLMs.

研究动机与目标

• 解决下游机器学习任务中使用的高维、不透明嵌入的解释难题。
• 实现对嵌入的自然语言查询，包括不存在或假设性实体的嵌入。
• 利用LLM弥合密集向量表示与人类可理解的叙事之间的鸿沟。
• 开发一种可泛化的、经微调的大语言模型框架，能够解释多样化的嵌入空间。

提出的方法

• 训练适配器层，将领域嵌入向量投影到预训练LLM的标记级嵌入空间中。
• 在25项多样化任务上微调LLM，以实现对MovieLens 25M数据集中嵌入的稳健、可泛化的解释能力。
• 采用带有KL正则化的强化学习目标，使微调后的LLM策略与预训练模型对齐，同时最大化特定任务的奖励。
• 将解释任务建模为CoMDP中的序列决策问题，其中动作对应于标记生成步骤。
• 使用带有价值函数和熵正则化的软演员-critic方法优化LLM策略，以稳定训练并提高样本效率。
• 利用LLM的自回归特性，计算微调后策略与预训练策略之间的序列级KL散度，用于正则化。

实验结果

研究问题

• RQ1 大语言模型能否通过自然语言提示被有效微调以解释密集领域嵌入？
• RQ2 LLM能否仅基于其嵌入向量，生成关于真实和假设性实体的有意义、描述性的叙事？
• RQ3 该框架能否超越传统的CAV解释方法，捕捉到更丰富、更细微的语义洞察？
• RQ4 该模型在多大程度上能通过分析用户嵌入表示来解码推荐系统中的用户偏好？
• RQ5 通过适配器层集成嵌入向量在多大程度上影响了LLM生成输出的可解释性和事实一致性？

主要发现

• 所提出的ELM框架能够基于嵌入向量成功生成连贯且上下文相关的叙事，即使针对假设性或不存在的项目亦然。
• 该方法在传统CAV解释基础上实现泛化与增强，支持超越二元概念激活的更丰富、更自然语言的描述。
• 通过25项多样化任务的微调，显著提升了LLM解释用户和项目嵌入的能力，生成的偏好画像与MovieLens数据集中用户行为高度一致。
• KL正则化与软演员-critic训练的结合，稳定了策略更新，同时保留了预训练模型的归纳偏置，实现了有效适应。
• 该框架通过自然语言实现了对嵌入空间的直接、交互式探索，展示了在推荐系统和概念发现中的实际应用价值。
• 实证结果表明，模型能够通过在潜在空间中插值或外推已知嵌入向量，生成对新物品的合理描述。