[論文レビュー] ManiVault: A Flexible and Extensible Visual Analytics Framework for High-Dimensional Data

Alexander Vieth, Thomas Kroes+8 more|arXiv (Cornell University)|Aug 3, 2023

Data Visualization and AnalyticsComputer Science被引用数 3

ひとこと要約

ManiVault は、高次元データの探索を目的としたオープンソースでプラグインベースのビジュアルアナリティクスフレームワークであり、モジュラーなアーキテクチャとメッセージングAPIを通じて、迅速なプロトタイピングと拡張性を実現する。プログレッシブアナリティクス、再利用可能なビジュアライゼーションおよびアナリシスコンポonent、プロジェクトステートのシリアル化による完全なワークフロー再現性をサポートし、ドメイン固有のVAアプリケーション開発における開発オーバーヘッドを顕著に低減する。

ABSTRACT

Exploration and analysis of high-dimensional data are important tasks in many fields that produce large and complex data, like the financial sector, systems biology, or cultural heritage. Tailor-made visual analytics software is developed for each specific application, limiting their applicability in other fields. However, as diverse as these fields are, their characteristics and requirements for data analysis are conceptually similar. Many applications share abstract tasks and data types and are often constructed with similar building blocks. Developing such applications, even when based mostly on existing building blocks, requires significant engineering efforts. We developed ManiVault, a flexible and extensible open-source visual analytics framework for analyzing high-dimensional data. The primary objective of ManiVault is to facilitate rapid prototyping of visual analytics workflows for visualization software developers and practitioners alike. ManiVault is built using a plugin-based architecture that offers easy extensibility. While our architecture deliberately keeps plugins self-contained, to guarantee maximum flexibility and re-usability, we have designed and implemented a messaging API for tight integration and linking of modules to support common visual analytics design patterns. We provide several visualization and analytics plugins, and ManiVault's API makes the integration of new plugins easy for developers. ManiVault facilitates the distribution of visualization and analysis pipelines and results for practitioners through saving and reproducing complete application states. As such, ManiVault can be used as a communication tool among researchers to discuss workflows and results. A copy of this paper and all supplemental material is available at https://osf.io/9k6jw and source code at https://github.com/ManiVaultStudio.

研究の動機と目的

• 多様なドメインにおける高次元データのためのカスタムビジュアルアナリティクス（VA）ツール開発における高いエンジニアリングコストと再利用性の欠如を解消すること。
• 開発者および実務家が再利用可能なビジュアライゼーションおよびアナリシスコンポーネントを用いて、インタラクティブなVAワークフローを迅速にプロトタイピングおよび共有できるようにすること。
• プログレッシブアナリティクスをネイティブにサポートし、新しいデータタイプ、ビジュアライゼーション、アルゴリズムのシームレスな統合を可能にする、モジュラーで拡張可能なフレームワークを提供すること。
• プロジェクトの完全なステートのシリアル化（ビュー、データ、パラメータ設定を含む）により、再現性と共同作業を促進すること。
• 汎用VAシステムとドメイン固有のニーズの間のギャップを埋めるために、コアコンポーネントを再発明することなく、ドメイン適応を可能にする柔軟で拡張性のある基盤を提供すること。

提案手法

• ManiVault は、各プラグインが自己完結的であり、カスタムメッセージングAPIを通じて通信することで、モジュール間の密接な統合と調整を可能にするプラグインベースのアーキテクチャを採用している。
• フレームワークはデータ中心の設計を採用しており、継続的なデータ更新とアルゴリズムの制御を可能にし、大規模な高次元データに対するプログレッシブアナリティクスを実現する。
• コア機能は、クロスプラットフォームのGUIサポートのためC++およびQtを用い、可視化プラグイン（例：散布図やヒートマップ）における高パフォーマンスレンダリングにはOpenGLを活用している。
• 標準化されたプラグインインターフェースを通じて、外部ライブラリやツールの統合を可能にし、既存のビジュアライゼーションおよびアナリシスアルゴリズムの再利用を可能にする。
• スタジオモードでは、ビュー構成、データリンク、パrameter設定を含む完全なアプリケーションレイアウトをロックして公開でき、共有と再現性を実現する。
• データ、ビュー、パラメータ接続を含むプロジェクトステートは保存・復元可能であり、完全なワークフローレイアライズと結果の共同議論を可能にする。

Figure 1 : ManiVault ’s system architecture. The core manages data and events, provides GUI management (actions), etc. Green borders indicate plugins, a light-grey background the core. Data flow from the core to data consumer plugins and from data producer plugins to the core is indicated with arrow

実験結果

リサーチクエスチョン

• RQ1 どのようにして、高次元データのドメイン固有のワークフローの迅速なプロトタイピングを可能にするビジュアルアナリティクスフレームワークをアーキテクチャ設計できるか？
• RQ2 どのような設計パターンが、多様なアプリケーションドメインにわたるビジュアライゼーションおよびアナリシスコンポーネントの拡張性と再利用性を実現できるか？
• RQ3 大規模かつ複雑なデータセットをインタラクティブに処理するため、モジュラーなフレームワーク内でプログレッシブアナリティクスをネイティブにサポートするにはどうすればよいか？
• RQ4 ビューのレイアウトやパラメータ設定を含む完全なアプリケーションステートを、どのようにシリアル化・共有することで共同作業と再現性を向上できるか？
• RQ5 既存のドメイン固有のVAツールを、マニフェストのような汎用的で拡張可能なフレームワーク（例：ManiVault）を用いて再実装または拡張することは可能か？

主な発見

• ManiVault は、Cytosplore Viewer（比較的単一細胞RNA-Seq解析のためのツール）のような複雑なドメイン固有のVAアプリケーションを、プラグインおよび構成システムのみを用いて再実装することに成功している。
• フレームワークのメッセージングAPIにより、プラグイン同士の密な結合（例：テーブルビューの選択を散布図の色分けに連動）が実現可能でありながら、プラグインコード同士の緊密な結合を避け、モジュラリティを維持している。
• システムは外部ツールやライブラリの統合をシームレスにサポートしており、今後の拡張でPythonおよびRアナリティクスプラグインのサポートが可能となり、データサイエンスパイプラインの広範な再利用が可能になる。
• ManiVault のシリアル化機構により、データ、ビュー、パラメータリンクを含む完全なプロジェクトステートを保存・共有でき、再現可能で共同可能なデータ探索が実現している。
• ベンチマークの結果から、データ中心的かつモジュラーな設計のおかげで、ManiVault のコアアーキテクチャは、大規模な高次元データに対しても効率的なデータ更新とリアルタイムのインタラクションをサポートしていることが示された。
• このフレームワークは、ハイパースペクトルイメージングや単一細胞ゲノミクスなどの分野で、インタラクティブなビジュアルアナリティクスワークフローの構築および共有に成功しており、そのクロスドメイン適用可能性が実証された。

Figure 2 : Parameter sharing by connecting two actions of the same type in the GUI. Both, the Mean-Shift plugin and Scatterplot plugin use a DecimalAction to steer their computation and view respectively.