[论文解读] DendroMap: Visual Exploration of Large-Scale Image Datasets for Machine Learning with Treemaps

Donald Bertucci, Md Montaser Hamid+5 more|arXiv (Cornell University)|May 14, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

DendroMap 是一种新颖的交互式可视化系统，利用分层树图（treemaps）探索大规模图像数据集以支持机器学习任务。通过聚类高维图像嵌入并将结果组织为动态可缩放的树图界面，DendroMap 使用户能够高效地导航数据集结构，识别表现不佳的子群体，并分析分类错误——其在保持局部相似性方面优于 t-SNE-Grid，并在受控研究中获得用户偏好。

ABSTRACT

In this paper, we present DendroMap, a novel approach to interactively exploring large-scale image datasets for machine learning (ML). ML practitioners often explore image datasets by generating a grid of images or projecting high-dimensional representations of images into 2-D using dimensionality reduction techniques (e.g., t-SNE). However, neither approach effectively scales to large datasets because images are ineffectively organized and interactions are insufficiently supported. To address these challenges, we develop DendroMap by adapting Treemaps, a well-known visualization technique. DendroMap effectively organizes images by extracting hierarchical cluster structures from high-dimensional representations of images. It enables users to make sense of the overall distributions of datasets and interactively zoom into specific areas of interests at multiple levels of abstraction. Our case studies with widely-used image datasets for deep learning demonstrate that users can discover insights about datasets and trained models by examining the diversity of images, identifying underperforming subgroups, and analyzing classification errors. We conducted a user study that evaluates the effectiveness of DendroMap in grouping and searching tasks by comparing it with a gridified version of t-SNE and found that participants preferred DendroMap. DendroMap is available at https://div-lab.github.io/dendromap/.

研究动机与目标

• 解决现有图像数据集可视化方法（如 t-SNE 和网格布局）在应用于大规模数据集时面临的可扩展性与交互性限制。
• 通过支持机器学习从业者检测数据偏差、分析模型错误并大规模评估图像多样性，推动以数据为中心的 AI 实践。
• 提供一种可扩展的交互式可视化方案，在保留局部相似性结构的同时，通过分层聚类实现多级探索。
• 通过允许用户动态调整聚类粒度和对子群体进行语义缩放，促进用户主导的图像数据集探索。
• 通过直观地暴露复杂数据集中代表性不足或分类错误的图像子群体，提升错误与偏差分析的有效性。

提出的方法

• 使用预训练的深度学习模型（例如 ResNet50）为数据集中的每张图像提取高维图像嵌入。
• 对嵌入应用凝聚式分层聚类（Ward 连接法），构建能捕捉图像相似性层次结构的树状图（dendrogram）。
• 将所得层次结构映射为树图布局，其中每个节点代表一个聚类，矩形面积与该聚类中图像数量成比例。
• 支持交互式缩放：点击某个聚类后，当前视图将被其子聚类替换，并通过动画过渡实现更细粒度的抽象层级探索。
• 通过侧边栏支持用户对显示聚类数量的动态控制，从而调整细节层次。
• 将类别级别统计信息和元数据集成到界面中，以支持子群体分析与错误检测。

实验结果

研究问题

• RQ1 基于树图的可视化能否有效组织并扩展至大规模图像数据集，同时保留局部相似性结构？
• RQ2 DendroMap 在保留高维空间中图像之间 k-最近邻关系方面，与 t-SNE-Grid 相比表现如何？
• RQ3 DendroMap 在支持用户交互任务（如分组、搜索、识别数据偏差或模型错误）方面，其有效性程度如何？
• RQ4 与传统的 t-SNE 和基于网格的可视化相比，用户对 DendroMap 的可用性与有效性感知如何？
• RQ5 结合分层聚类与树图，是否能比非分层方法实现更直观、更具可扩展性的图像数据集结构探索？

主要发现

• 在 12 个测试数据集中，DendroMap 在保留局部相似性结构方面显著优于 t-SNE-Grid，表现为 k-最近邻列表的平均重叠率更高。
• 在用户研究中，参与者在分组和搜索任务中均更偏好 DendroMap 而非 t-SNE-Grid，表明其可用性与任务性能更优。
• 该系统支持有效的多级探索：用户可动态调整聚类数量，并通过动画过渡交互式地缩放至特定图像子群体。
• DendroMap 成功揭示了表现不佳的子群体与数据多样性问题，支持在真实世界图像数据集（如 CIFAR-100 和 ImageNet）中进行错误与偏差分析。
• 对于 10,000 张图像的 CIFAR-10 测试集，聚类耗时为 36.8 秒，与 t-SNE 的 32.0 秒相当，表明其计算成本可接受，适合作为一次性预处理步骤。
• DendroMap 的分层结构使用户能够从全局数据集概览导航至细粒度子群体，从而增强可解释性与分析深度。