[논문 리뷰] Open Chemistry: RESTful Web APIs, JSON, NWChem and the Modern Web Application

Marcus D. Hanwell, Wibe A. de Jong외 1명|arXiv (Cornell University)|2017. 07. 13.

Scientific Computing and Data Management참고 문헌 12인용 수 4

한 줄 요약

이 논문은 RESTful API, JSON 데이터 포맷, 그리고 NWChem 양자화학 코드를 사용하여 계산 및 실험 데이터를 통합하는 오픈소스, 웹 네이티브 플랫폼을 제시한다. 현대 웹 기술—HTML5, JavaScript, JSON-LD—을 활용함으로써 플랫폼은 3D 분자 구조, 전자적 성질, 진동 모드 등의 상호작용적이고 다기기 호환 가능한 시각화 및 분석을 가능하게 하며, 분산된 피어 투 피어 인스턴스 간 표준화된 데이터 교환을 지원한다.

ABSTRACT

An end-to-end platform for chemical science research has been developed that integrates data from computational and experimental approaches through a modern web-based interface. The platform offers a highly interactive visualization and analytics environment that functions well on mobile, laptop and desktop devices. It offers pragmatic solutions to ensure that large and complex data sets are more accessible. Existing desktop applications/frameworks were extended to integrate with high-performance computing (HPC) resources, and offer command-line tools to automate interaction---connecting distributed teams to this software platform on their own terms. The platform was developed openly, and all source code hosted on the GitHub platform with automated deployment possible using Ansible coupled with standard Ubuntu-based machine images deployed to cloud machines. The platform is designed to enable teams to reap the benefits of the connected web---going beyond what conventional search and analytics platforms offer in this area. It also has the goal of offering federated instances, that can be customized to the sites/research performed. Data gets stored using JSON, extending upon previous approaches using XML, building structures that support computational chemistry calculations. These structures were developed to make it easy to process data across different languages, and send data to a JavaScript web client.

연구 동기 및 목표

• 화학 데이터의 분산 문제를 해결하기 위해 계산 및 실험 결과를 통합한 통합적이고 오픈소스 플랫폼을 구축한다.
• 현대 웹 기술을 활용하여 복잡한 화학 데이터의 상호작용적이고 다기기 호환 가능한 시각화 및 분석을 가능하게 한다.
• 기존 형식을 대체할 표준화된 인간 및 기계가 읽을 수 있는 데이터 포맷(Chemical JSON)을 개발하여 계산 화학 출력을 위한 포맷을 마련한다.
• 연구 기관 간 피어 투 피어 배포를 지원하여 커스터마이제이션과 분산된 데이터 스토리지가 가능한 플랫폼을 구현한다.
• 경량 RESTful 웹 API와 명령줄 도구를 통해 고성능 컴퓨팅(HPC) 자원의 접근성을 확장하고 자동화 워크플로우를 지원한다.

제안 방법

• 계산 실행, 데이터 접근 제어, 인증 기능을 제공하는 RESTful API를 노출하는 Python 3 기반 서버 사이드 컴포넌트를 구축했다.
• 주로 데이터 교환을 위한 JSON 포맷을 사용하였으며, JSON-LD를 활용해 의미론적 주석을 추가하여 기계가 이해할 수 있는 의미와 연결된 데이터 기능을 구현했다.
• 단일 페이지 HTML5/JavaScript 웹 클라이언트를 개발하여 REST API를 소비함으로써 실시간으로 3D 분자 구조 및 성질을 상호작용적으로 시각화했다.
• 오픈소스 시각화 라이브러리(예: 3D 렲링 및 차트링용)를 통합하고, Avogadro 2 및 NWChem를 수정하여 새로운 JSON 포맷으로 직접 데이터를 출력하도록 확장했다.
• 동일한 RESTful 엔드포인트를 통해 명령줄 및 桌면 클라이언트 통합을 구현하여 자동화 워크플로우 및 HPC 작업 제출을 지원했다.
• 모든 소스 코드를 GitHub에 공개하고, Ansible 및 Ubuntu 기반 클라우드 이미지를 사용하여 플랫폼을 배포함으로써 개방형 협업과 재현 가능성을 확보했다.

실험 결과

연구 질문

• RQ1 계산 및 실험 화학 데이터는 어떻게 하나의 접근성 있고 상호작용 가능한 플랫폼에서 통합될 수 있는가?
• RQ2 RESTful 웹 API와 JSON 기반 데이터 포맷은 다양한 화학 소프트웨어 도구 간에 효율적이고 확장 가능하며 상호운용 가능한 데이터 교환을 가능하게 할 수 있는가?
• RQ3 현대 웹 기술(HTML5, WebGL, JavaScript)은 다양한 기기에서 복잡한 3D 화학 데이터의 고성능 상호작용 시각화를 얼마나 잘 지원할 수 있는가?
• RQ4 Semantic Web 표준(예: JSON-LD)을 어떻게 활용하여 경량적이고 확장 가능한 형식으로 화학 데이터에 기계가 이해할 수 있는 의미를 부여할 수 있는가?
• RQ5 데이터 일관성과 사용자 자율성을 유지하면서 과학 플랫폼의 피어 투 피어 배포를 가능하게 하는 아키텍처 패턴은 무엇인가?

주요 결과

• NWChem 계산 출력을 새로운 JSON 기반 데이터 포맷을 사용하여 웹 기반 시각화 인터페이스와 종단 간 통합하는 데 성공했다.
• RESTful API의 사용으로 웹, 데스크톱, 명령줄 클라이언트 간 원활한 상호작용이 가능해졌으며, 자동화 워크플로우 및 HPC 통합을 지원했다.
• 사용자 정의 컨버터를 통해 NWChem 로그 파일에서 유도된 Chemical JSON 형식은 3D 구조, 전자 상태, 진동 모드와 같은 복잡한 데이터를 효과적으로 표현하는 데 성공했다.
• 서버로의 라운드트립 수를 최소화하고 대부분의 렌더링을 클라이언트 측에서 처리함으로써, 저대역폭 환경에서도 높은 상호작용성과 반응성을 확보했다.
• Ansible 및 Ubuntu 이미지를 사용한 모듈화되고 컨테이너 기반의 배포 방식을 통해 플랫폼의 피어 투 피어 배포가 검증되었으며, 사이트별 맞춤 설정이 가능했다.
• JSON-LD의 도입이 화학 데이터의 의미적 풍부화를 위한 실현 가능한 길임을 입증했으며, 향후 RDF 트리플로의 변환 및 지식 그래프 통합 가능성도 보였다.