[论文解读] External Use of TOPCAT's Plotting Library

Mark Taylor|arXiv (Cornell University)|Oct 30, 2014

Scientific Research and Discoveries参考文献 1被引用 3

一句话总结

本文提出了一种外部使用TOPCAT自定义Java绘图库的方法，通过命令行（STILTS）、Jython（JyStilts）、Java API或进程间通信，实现对大规模数据集（高达数十亿个点）的高性能、交互式及静态可视化。该库支持可扩展、可配置的二维和三维图表，具备混合散点/密度渲染与高效内存使用等特性，实现了对包含20亿行数据的全天密度图在30分钟内完成渲染。

ABSTRACT

The table analysis application TOPCAT uses a custom Java plotting library for highly configurable high-performance interactive or exported visualisations in two and three dimensions. We present here a variety of ways for end users or application developers to make use of this library outside of the TOPCAT application: via the command-line suite STILTS or its Jython variant JyStilts, via a traditional Java API, or by programmatically assigning values to a set of parameters in java code or using some form of inter-process communication. The library has been built with large datasets in mind; interactive plots scale well up to several million points, and static output to standard graphics formats is possible for unlimited sized input data.

研究动机与目标

• 使科学家和开发者能够在TOPCAT图形用户界面环境之外使用其高性能绘图库。
• 在最小内存开销下，支持对大规模数据集（高达数十亿行）的交互式和静态可视化。
• 提供灵活的集成方式——命令行、Jython、Java API和进程间通信——以适应多样化的应用场景。
• 确保图表类型、图层和参数的可扩展性与可配置性，且无需修改UI代码。
• 实现从海量数据集中高效渲染复杂可视化效果（如密度图和语谱图）

提出的方法

• 通过STILTS（一个基于参数的命令行工具）暴露TOPCAT绘图库，使用键值对形式指定图表参数。
• 提供与Jython兼容的接口（JyStilts），支持Python脚本对绘图参数和控制结构的完全访问。
• 通过Map对象传递参数名称-值对，实现直接的Java API集成，支持字符串值和原生Java对象（如StarTable实现）。
• 通过详细记录在Javadoc中的低层级Java API，支持程序化控制，实现完全自定义并具备编译时类型检查。
• 采用可插拔的面向对象接口设计，支持动态发现图表类型、图层和配置选项，以实现可扩展性。
• 生成基于Swing的交互式GUI组件以及PNG、GIF、JPEG、PDF或PostScript格式的静态输出，支持动画。

实验结果

研究问题

• RQ1 如何将TOPCAT的高性能绘图库暴露于其原生GUI环境之外使用？
• RQ2 在科学应用中，实现绘图库外部使用的最有效集成模式是什么？
• RQ3 该库能否在高效内存使用和可接受性能下，实现对无限大小数据集的可视化？
• RQ4 如何通过一致、可扩展且可发现的API生成复杂、交互式和静态可视化？
• RQ5 在静态输出格式中渲染超大规模数据集（如20亿行）时，可实现怎样的性能特征？

主要发现

• 该绘图库成功实现了对包含数百万个点的数据集的交互式可视化，同时保持了高响应性。
• 静态输出生成支持无限大小的数据集，20亿行的全天密度图在约30分钟内完成渲染。
• 混合散点/密度图能为极大规模数据集提供有意义的视觉表示，而标准散点图在此类场景下不可行。
• 命令行接口（STILTS）仅需四个参数即可生成简单图表，同时支持复杂可视化所需的完整可配置性。
• Jython接口（JyStilts）可无缝集成到Python工作流中，支持控制结构和动态参数赋值。
• 低层级Java API提供了完全的程序化控制和编译时类型安全性，但需要编写显著更多的代码（基本图表需50–100行）