[论文解读] Embedding Comparator: Visualizing Differences in Global Structure and Local Neighborhoods via Small Multiples

Angie Boggust, Brandon Carter+1 more|arXiv (Cornell University)|Dec 10, 2019

Data Visualization and Analytics被引用 4

一句话总结

Embedding Comparator 是一种交互式可视化系统，通过计算并显示跨模型的局部邻域之间的相似性得分，实现对两个嵌入空间的系统性比较。它利用小多联图（多米诺图）突出显示全局结构差异和细粒度的邻域对比，显著加速了在自然语言处理、计算机视觉和多模态应用中洞察发现的速度，相比人工检查效率大幅提升。

ABSTRACT

Embeddings mapping high-dimensional discrete input to lower-dimensional continuous vector spaces have been widely adopted in machine learning applications as a way to capture domain semantics. Interviewing 13 embedding users across disciplines, we find comparing embeddings is a key task for deployment or downstream analysis but unfolds in a tedious fashion that poorly supports systematic exploration. In response, we present the Embedding Comparator, an interactive system that presents a global comparison of embedding spaces alongside fine-grained inspection of local neighborhoods. It systematically surfaces points of comparison by computing the similarity of the $k$-nearest neighbors of every embedded object between a pair of spaces. Through case studies across multiple modalities, we demonstrate our system rapidly reveals insights, such as semantic changes following fine-tuning, language changes over time, and differences between seemingly similar models. In evaluations with 15 participants, we find our system accelerates comparisons by shifting from laborious manual specification to browsing and manipulating visualizations.

研究动机与目标

• 解决机器学习工作流中缺乏系统性、交互式嵌入空间比较工具的问题。
• 在统一界面中支持全局结构分析与局部邻域检查。
• 减少对临时、手动选择对象进行比较的依赖，此类方式会阻碍假设检验与洞察发现。
• 实现快速、系统化地识别模型间语义变化，例如微调或时间变化带来的影响。
• 提供一种可推广的、与领域无关的度量标准，用于比较嵌入，而无需对齐或特定任务的定义。

提出的方法

• 通过测量两个嵌入空间中每个嵌入对象的 k 个最近邻之间的 Jaccard 相似性，计算其局部邻域相似性（LNS）得分。
• 使用直方图可视化所有对象的 LNS 得分分布，并对全局投影图（如 PCA）进行着色，以突出显示高相似性和低相似性区域。
• 将局部邻域呈现为“多米诺图”——小多联图，展示每个模型中共享和独有的邻居，其中共同邻居用绿色标记，独有邻居用紫色标记。
• 初始视图默认显示基于 LNS 得分的最相似和最不相似对象列表，以引导探索并减轻认知负担。
• 通过为嵌入对象使用简洁的视觉表示，支持多种模态，包括文本、图像和分子结构。
• 支持交互式过滤与探索，允许用户浏览、选择并深入查看特定对象，而无需手动指定。

实验结果

研究问题

• RQ1 如何使嵌入比较更加系统化，减少对临时选择对象的依赖？
• RQ2 哪些可视化技术最能有效支持嵌入空间中的全局结构与局部邻域比较？
• RQ3 是否可以使用一种通用的局部邻域相似性度量，在无需对齐或特定任务调优的情况下揭示有意义的语义差异？
• RQ4 与现有工作流相比，Embedding Comparator 如何提升洞察发现的速度与深度？
• RQ5 小多联图在大规模嵌入空间探索中，其可扩展性在多大程度上是有效的？

主要发现

• Embedding Comparator 通过将工作流程从手动、临时选择转变为交互式浏览和操作可视化，显著加速了比较工作流，该结论在 15 名参与者的评估中得到验证。
• 该系统揭示了微调后出现的语义变化，例如词语关联的改变（如“artificial”获得“intelligence”和“machines”作为邻居），且用户输入极少。
• 局部邻域多米诺图有效凸显了共享与独有的邻居，实现了对模型特异性偏差或语义漂移的快速检测。
• LNS 度量在无需模型对齐或领域特定调优的情况下，成功识别出模型间最相似和最不相似的对象。
• 案例研究证明了该系统在多种模态中的实用性，包括自然语言处理、计算机视觉和分子嵌入，且能持续生成有效洞察。
• 用户报告称，其检测意外差异的信心显著提升，并对嵌入空间变化的全面理解感更强。