[論文レビュー] Open Chemistry: RESTful Web APIs, JSON, NWChem and the Modern Web Application

Marcus D. Hanwell, Wibe A. de Jong+1 more|arXiv (Cornell University)|Jul 13, 2017

Scientific Computing and Data Management参考文献 12被引用数 4

ひとこと要約

本論文は、RESTful API、JSONデータフォーマット、およびNWChem量子化学コードを用いて計算データと実験データを統合する、オープンソースでウェブネイティブな化学および材料科学研究のためのプラットフォームを提示する。最新のウェブ技術（HTML5、JavaScript、JSON-LD）を活用することで、3次元分子構造、電子的性質、振動モードのインタラクティブでデバイスに跨る可視化と分析を可能にし、分散型でフェデレーテッドなインスタンス間で拡張可能で標準化されたデータ交換を実現する。

ABSTRACT

An end-to-end platform for chemical science research has been developed that integrates data from computational and experimental approaches through a modern web-based interface. The platform offers a highly interactive visualization and analytics environment that functions well on mobile, laptop and desktop devices. It offers pragmatic solutions to ensure that large and complex data sets are more accessible. Existing desktop applications/frameworks were extended to integrate with high-performance computing (HPC) resources, and offer command-line tools to automate interaction---connecting distributed teams to this software platform on their own terms. The platform was developed openly, and all source code hosted on the GitHub platform with automated deployment possible using Ansible coupled with standard Ubuntu-based machine images deployed to cloud machines. The platform is designed to enable teams to reap the benefits of the connected web---going beyond what conventional search and analytics platforms offer in this area. It also has the goal of offering federated instances, that can be customized to the sites/research performed. Data gets stored using JSON, extending upon previous approaches using XML, building structures that support computational chemistry calculations. These structures were developed to make it easy to process data across different languages, and send data to a JavaScript web client.

研究の動機と目的

• 化学データの断片化を解消するため、計算結果と実験結果を統合した統一的でオープンなプラットフォームを構築すること。
• 最新のウェブ技術を活用して、複雑な化学データのインタラクティブでデバイスに跨る可視化と分析を可能にすること。
• 計算化学の出力結果を標準化し、人間および機械が読み取り可能なデータフォーマット（Chemical JSON）を開発し、レガシーフォーマットに取って代わること。
• 研究機関間でプラットフォームをフェデレーテッドに展開できることを可能にし、カスタマイズと分散型データストレージを支援すること。
• 軽量なRESTfulウェブAPIおよびコマンドラインツールを活用して、ハイパフォーマンスコンピューティング（HPC）リソースの利用範囲を拡大すること。

提案手法

• Python 3を用いてサーバーサイドコンponentを構築し、データアクセスの管理、計算の起動、認証を可能にするRESTful APIを公開した。
• データ交換の主要フォーマットとしてJSONを採用し、JSON-LDを用いて意味的付加情報を追加することで、機械が読み取れる意味とリンクデータの機能を実現した。
• 単一ページのHTML5/JavaScriptウェブクライアントを開発し、REST APIを活用して3次元分子構造や性質のリアルタイムでインタラクティブな可視化を実現した。
• オープンソースの可視化ライブラリ（3次元レンダリングやチャート作成用）を統合し、Avogadro 2およびNWChemを拡張して、新しいJSONフォーマットでネイティブにデータ出力を可能にした。
• 同じRESTfulエンドポイントを介してコマンドラインおよびデスクトップクライアントとの統合を実現し、自動化ワークフローとHPCジョブの送信を支援した。
• すべてのソースコードをGitHubにホスティングし、オープンな協働と再現可能性を確保するため、AnsibleおよびUbuntuベースのクラウドイメージを用いてプラットフォームをデプロイした。

実験結果

リサーチクエスチョン

• RQ1 計算化学と実験化学のデータを、1つのアクセス可能でインタラクティブなプラットフォームに統合するにはどうすればよいか？
• RQ2 RESTfulウェブAPIとJSONベースのデータフォーマットは、多様な化学ソフトウェアツール間で、効率的でスケーラブルかつ相互運用可能なデータ交換を可能にするか？
• RQ3 最新のウェブ技術（HTML5、WebGL、JavaScript）は、複雑な3次元化学データを複数のデバイスで高パフォーマンスかつインタラクティブに可視化するのにどの程度有効に機能するか？
• RQ4 意味ウェブ標準（例：JSON-LD）をどのように活用すれば、軽量で拡張可能なフォーマットで化学データに機械理解可能な意味を付与できるか？
• RQ5 データの一貫性とユーザーの自律性を維持しつつ、科学プラットフォームのフェデレーテッド展開を実現するアーキテクチャパターンは何か？

主な発見

• NWChemの計算出力結果とウェブベースの可視化インターフェースを、新しいJSONフォーマットを用いてエンドツーエンドで統合することに成功した。
• RESTful APIの使用により、ウェブクライアント、デスクトップクライアント、コマンドラインクライアント間のシームレスな連携が実現され、自動化ワークフローとHPC統合が可能になった。
• NWChemログファイルからカスタムコンバータを介して生成されたChemical JSONフォーマットは、3次元構造、電子状態、振動モードといった複雑なデータを効果的に表現できた。
• サーバーとの往復を最小限に抑え、大部分のレンダリング処理をクライアント側で実行することで、低帯域幅環境でも高いインタラクティブ性と応答性を達成した。
• AnsibleおよびUbuntuイメージを用いたコンテナ化されたモジュラーなデプロイメントにより、サイト固有のカスタマイズが可能なフェデレーテッド展開が検証された。
• JSON-LDの採用は、化学データの意味的拡張の有効な道筋であることが示された。将来的にRDF三元組や知識グラフ統合への変換が可能になる可能性を秘めている。