[논문 리뷰] ManiVault: A Flexible and Extensible Visual Analytics Framework for High-Dimensional Data

Alexander Vieth, Thomas Kroes외 8명|arXiv (Cornell University)|2023. 08. 03.

Data Visualization and AnalyticsComputer Science인용 수 3

한 줄 요약

ManiVault는 고차원 데이터 탐색을 위한 오픈소스이자 플러그인 기반의 시각적 분석 프레임워크로, 모듈러 아키텍처와 메시징 API를 통해 빠른 프로토타ип링과 확장성을 제공한다. 점진적 분석, 재사용 가능한 시각화 및 분석 컴포넌트, 프로젝트 상태 직렬화를 통한 완전한 워크플로우 재현 가능성을 지원하여 도메인 특화 VA 응용 프로그램 개발의 개발 오버헤드를 크게 감소시킨다.

ABSTRACT

Exploration and analysis of high-dimensional data are important tasks in many fields that produce large and complex data, like the financial sector, systems biology, or cultural heritage. Tailor-made visual analytics software is developed for each specific application, limiting their applicability in other fields. However, as diverse as these fields are, their characteristics and requirements for data analysis are conceptually similar. Many applications share abstract tasks and data types and are often constructed with similar building blocks. Developing such applications, even when based mostly on existing building blocks, requires significant engineering efforts. We developed ManiVault, a flexible and extensible open-source visual analytics framework for analyzing high-dimensional data. The primary objective of ManiVault is to facilitate rapid prototyping of visual analytics workflows for visualization software developers and practitioners alike. ManiVault is built using a plugin-based architecture that offers easy extensibility. While our architecture deliberately keeps plugins self-contained, to guarantee maximum flexibility and re-usability, we have designed and implemented a messaging API for tight integration and linking of modules to support common visual analytics design patterns. We provide several visualization and analytics plugins, and ManiVault's API makes the integration of new plugins easy for developers. ManiVault facilitates the distribution of visualization and analysis pipelines and results for practitioners through saving and reproducing complete application states. As such, ManiVault can be used as a communication tool among researchers to discuss workflows and results. A copy of this paper and all supplemental material is available at https://osf.io/9k6jw and source code at https://github.com/ManiVaultStudio.

연구 동기 및 목표

• 다양한 도메인에서 고차원 데이터를 위한 맞춤형 시각적 분석(VA) 도구 개발 시 높은 엔지니어링 비용과 재사용성 부족 문제를 해결하기 위해.
• 개발자와 실무자가 재사용 가능한 시각화 및 분석 컴포넌트를 사용해 상호작용 가능한 VA 워크플로우를 빠르게 프로토타입화하고 공유할 수 있도록 하기 위해.
• 점진적 분석을 지원하고 새로운 데이터 유형, 시각화, 알고리즘을 원활하게 통합할 수 있도록 모듈러하고 확장 가능한 프레임워크를 제공하기 위해.
• 프로젝트 상태 전체를 직렬화함으로써 뷰, 데이터, 파라미터 설정 등을 포함한 완전한 워크플로우 재현 가능성을 확보하고 협업을 촉진하기 위해.
• 일반적인 VA 시스템과 도메인 특화 요구사항 사이의 격차를 해소하기 위해, 핵심 컴포넌트를 다시 설계하지 않고도 도메인 적응이 가능한 탄력적이고 확장 가능한 기반을 제공하기 위해.

제안 방법

• ManiVault는 각 플러그인이 자가 포함되어 있으며, 고유한 메시징 API를 통해 모듈 간의 밀접한 통합과 조율을 가능하게 하는 플러그인 기반 아키텍처를 채택한다.
• 시스템은 데이터 중심 설계를 채택하여 지속적인 데이터 업데이트와 알고리즘 조정을 지원하며, 대규모 고차원 데이터에 대한 점진적 분석을 가능하게 한다.
• 핵심 기능은 크로스플랫폼 GUI 지원을 위해 C++와 Qt를 사용하며, 산점도 및 히트맵과 같은 시각화 플러그인에서는 고성능 렲더링을 위해 OpenGL을 활용한다.
• 표준화된 플러그인 인터페이스를 통해 외부 라이브러리와 도구의 통합을 지원하여 기존의 시각화 및 분석 알고리즘의 재사용을 가능하게 한다.
• 스튜디오 모드를 통해 사용자는 뷰 구성, 데이터 연결, 파라미터 설정을 포함한 완전한 애플리케이션 레이아웃을 잠금하고 공유할 수 있어, 공유와 재현 가능성을 보장한다.
• 프로젝트 상태—데이터, 뷰, 파라미터 연결 포함—는 저장 및 복원이 가능하여 완전한 워크플로우 재현 가능성을 제공하고 결과 공유 및 협업을 가능하게 한다.

Figure 1 : ManiVault ’s system architecture. The core manages data and events, provides GUI management (actions), etc. Green borders indicate plugins, a light-grey background the core. Data flow from the core to data consumer plugins and from data producer plugins to the core is indicated with arrow

실험 결과

연구 질문

• RQ1 어떻게 고차원 데이터를 위한 도메인 특화 워크플로우의 빠른 프로토타입 제작을 지원할 수 있는 시각적 분석 프레임워크 아키텍처를 설계할 수 있는가?
• RQ2 다양한 응용 도메인에서 시각화 및 분석 컴포넌트의 확장성과 재사용성을 보장하는 설계 패턴은 무엇인가?
• RQ3 대규모이고 복잡한 데이터 세트를 상호작용적으로 처리하기 위해 모듈러 프레임워크에서 점진적 분석을 어떻게 내재적으로 지원할 수 있는가?
• RQ4 뷰 레이아웃과 파라미터 설정을 포함한 전체 응용 프로그램 상태를 어떻게 직렬화하고 공유하여 협업과 재현 가능성을 향상시킬 수 있는가?
• RQ5 기존의 도메인 특화 VA 도구들을 ManiVault와 같은 일반적이고 확장 가능한 프레임워크를 사용해 어떻게 재구현하거나 확장할 수 있는가?

주요 결과

• ManiVault는 단지 플러그인 및 구성 시스템만으로도 복잡한 도메인 특화 VA 응용 프로그램, 예를 들어 비교적 단일세포 RNA-seq 분석을 위한 Cytosplore Viewer를 성공적으로 재구현할 수 있었다.
• 프레임워크의 메시징 API는 플러그인 간의 밀접한 결합을 가능하게 하였으며, 예를 들어 테이블 뷰 선택을 산점도 색상에 연결하는 등의 기능을 코드 수준의 강한 결합 없이도 실현하였다. 이는 모듈성 유지에 기여한다.
• 시스템은 외부 도구 및 라이브러리의 원활한 통합을 지원하며, 향후 확장성을 고려해 파이썬과 R 분석 플러그인 지원도 가능하게 하여 데이터 과학 파ip라인의 광범위한 재사용을 가능하게 한다.
• ManiVault의 직렬화 메커니즘은 데이터, 뷰, 파라미터 연결을 포함한 전체 프로젝트 상태를 저장하고 공유할 수 있게 하여 재현 가능하고 협업 가능한 데이터 탐색을 실현한다.
• 벤치마킹 결과에 따르면, 데이터 중심적이고 모듈러한 설계 덕분에 ManiVault의 핵심 아키텍처는 대규모 고차원 데이터에서도 효율적인 데이터 업데이트와 실시간 상호작용을 지원함을 입증하였다.
• 이 프레임워크는 고분광 영상 및 단일세포 게놈학과 같은 분야에서 상호작용 가능한 시각적 분석 워크플로우를 구축하고 공유하는 데 성공적으로 활용되었으며, 이는 그 교차 도메인 적용 가능성에 대한 증거이다.

Figure 2 : Parameter sharing by connecting two actions of the same type in the GUI. Both, the Mean-Shift plugin and Scatterplot plugin use a DecimalAction to steer their computation and view respectively.