[论文解读] VizWiz Dataset Browser: A Tool for Visualizing Machine Learning Datasets

Nilavra Bhattacharya, Danna Gurari|arXiv (Cornell University)|Dec 19, 2019

Multimodal Machine Learning Applications参考文献 4被引用 7

一句话总结

VizWiz数据集浏览器是一款基于网络的可视化工具，允许研究人员通过交互式界面探索、搜索和筛选VizWiz多模态数据集——该数据集包含图像、视觉问题、答案、描述以及多种标注类型。该工具基于LAMP架构构建，支持全文搜索与分类筛选，可实现对大规模、丰富标注数据集的可扩展、交互式探索，适用于计算机视觉与无障碍研究领域的定性与定量研究。

ABSTRACT

We present a visualization tool to exhaustively search and browse through a set of large-scale machine learning datasets. Built on the top of the VizWiz dataset, our dataset browser tool has the potential to support and enable a variety of qualitative and quantitative research, and open new directions for visualizing and researching with multimodal information. The tool is publicly available at https://vizwiz.org/browse.

研究动机与目标

• 为解决大规模、多模态机器学习数据集中复杂的探索性数据分析挑战，特别是针对复杂标注的数据集。
• 提供一个统一的交互式平台，用于浏览图像及其多样化的标注，包括问题、答案、描述以及质量元数据。
• 通过在文本和分类标注中实现高效搜索与筛选，减轻手动数据检查和易出错分析的负担。
• 通过动态可视化标注分布与关系，支持定性与定量研究。
• 通过支持整体性、交互式的数据集探索，促进计算机视觉、无障碍研究以及人机交互领域的研究。

提出的方法

• 该工具作为单页Web应用程序实现，基于LAMP架构（Linux、Apache、MariaDB、PHP）以实现可扩展的部署。
• 全文搜索由MariaDB的全文索引功能驱动，以实现对问题、答案和描述的高效查询。
• 分类标注（如答案差异原因、技能类别和图像质量问题）以一维热力图形式可视化，其数值表示选择该标签的众包工作者人数（满分五人）。
• 搜索与筛选控件置于可滚动侧边栏中，以保持可用性与信息密度，其设计灵感来源于电子商务的筛选模式。
• 结果根据查询类型按相关性（匹配单词数）、答案多样性（香农熵）或标签频率进行排序。
• 用户可通过“视图”面板切换不同标注类型的可见性，以减少视觉杂乱并支持聚焦分析。

实验结果

研究问题

• RQ1 研究人员如何高效探索具有复杂多级标注的大规模多模态数据集？
• RQ2 交互式可视化在揭示视觉问题回答数据集中不同类型标注之间隐藏模式或关系方面发挥什么作用？
• RQ3 如何设计搜索与筛选功能，以同时支持丰富标注数据集中的探索性数据分析与目标数据检索？
• RQ4 统一界面在跨多样化众包元数据进行数据质量评估与标注验证方面有何改进作用？
• RQ5 交互式可视化如何支持计算机视觉、无障碍研究以及人机交互领域的跨学科研究？

主要发现

• VizWiz数据集浏览器支持对VizWiz数据集的高效、可扩展探索，可在问题、答案和描述中实现全文搜索，每页返回结果少于50张图像，确保快速加载。
• 该工具支持基于分类标注（如答案差异原因、技能类别和图像质量问题）的筛选，使用户能够识别特定数据子集，例如需要旋转的图像或提出困难问题的图像。
• 结果可按相关性（匹配单词数）、答案多样性（香农熵）或标签频率排序，支持灵活的分析工作流。
• 分类标注的热力图可视化提供了清晰、量化的标注共识视图，其数值反映选择该标签的众包工作者人数（满分五人）。
• 该工具已被用于支持计算机视觉、无障碍研究以及人机交互领域的持续研究，证明了其在真实研究场景中的实际效用。
• 可切换标注可见性的功能使用户能够根据特定任务自定义界面，例如截取屏幕或聚焦特定数据类型。