[论文解读] PicArrange -- Visually Sort, Search, and Explore Private Images on a Mac Computer

Klaus Jung, Kai Uwe Barthel+2 more|arXiv (Cornell University)|Nov 26, 2021

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

PicArrange 是一款原生 macOS 应用程序，通过基于卷积神经网络（CNN）的视觉特征提取和改进的自排序地图（Self-Sorting Map）算法，实现本地、私密的图像管理。它通过在本地存储压缩后的特征向量，实现子秒级的搜索响应时间，从而在初始索引后，能够以低延迟性能在多个文件夹中搜索、排序和探索数千张图像。

ABSTRACT

The native macOS application PicArrange integrates state-of-the-art image sorting and similarity search to enable users to get a better overview of their images. Many file and image management features have been added to make it a tool that addresses a full image management workflow. A modification of the Self Sorting Map algorithm enables a list-like image arrangement without loosing the visual sorting. Efficient calculation and storage of visual features as well as the use of many macOS APIs result in an application that is fluid to use.

研究动机与目标

• 解决 macOS 上个人图像集合缺乏原生视觉图像排序与相似性搜索的问题。
• 实现对存储在本地磁盘、网络共享或云文件夹中的大型图像集合的高效、私密且可交互的探索。
• 提供无缝的原生 macOS 体验，集成系统 API 以支持文件操作、预览和元数据显示。
• 通过使用基于列的列表布局而非环形地图，保持视觉一致性与用户熟悉感，避免图像重复或出现空洞。
• 通过在本地执行所有图像分析并仅存储压缩后的特征向量，确保性能与隐私。

提出的方法

• 对自排序地图（SSM）算法进行改进，采用扫描线有序的非矩形边界处理策略，避免在基于列的布局中出现空洞或重复图像。
• 使用预训练网络为每张图像计算基于深度卷积神经网络（CNN）的视觉特征向量，随后进行压缩以最小化存储开销。
• 将特征向量本地存储于文件系统，以保护数据隐私并避免云传输。
• 利用原生 macOS API 实现文件系统遍历、缩略图生成、元数据提取，并与 Finder、预览及其他应用集成。
• 通过计算查询图像特征与所有存储特征向量之间的 L2 距离实现相似性搜索，并按距离远近对结果进行排序。
• 支持多文件夹图像浏览、按元数据（名称、日期、大小）过滤，以及拖拽、删除和启动外部应用等交互操作。

实验结果

研究问题

• RQ1 原生 macOS 应用能否在不依赖云服务的情况下，提供高效、私密且视觉直观的图像排序与相似性搜索？
• RQ2 如何将自组织映射适配到线性、基于列的布局中，以避免出现空洞或强制图像重复等视觉伪影？
• RQ3 本地特征计算与存储在多大程度上可降低延迟并提升大型图像集合的响应速度？
• RQ4 与跨平台或基于 Web 的替代方案相比，集成原生 macOS API 如何提升可用性与性能？
• RQ5 用户在迭代式视觉搜索过程中，能否在文件夹切换时保持选择状态与上下文？

主要发现

• 在 SSD 上对 5,300 张 JPEG 图像进行索引，PicArrange 总处理时间为 340 秒（每张图像 64 毫秒），特征提取与排序均在本地完成。
• 在后续运行中，利用缓存的特征向量，处理时间降至仅 1.7 秒（每张图像 0.32 毫秒），表明初始设置后具有极高的效率。
• SSM 算法中改进的边界处理策略成功避免了在图像数量不能被列数整除时出现的视觉伪影（如空洞或重复图像），即使在复杂布局下也表现稳定。
• 该应用支持跨多个文件夹的实时相似性搜索，结果按查询图像特征与存储向量之间的 L2 距离排序，支持对搜索结果的迭代优化。
• 与原生 macOS 功能（如拖拽、文件删除、预览和启动外部应用）的集成，确保了无缝且熟悉的用户体验。
• PicArrange 支持所有标准 macOS 图像格式，包括 RAW 格式，并可显示视频和 PDF 的缩略图，显著增强了其作为全功能图像浏览器的实用性。