[論文レビュー] Towards Commodity, Web-Based Augmented Reality Applications for Research and Education in Chemistry and Structural Biology

Luciano A. Abriata|arXiv (Cornell University)|Jun 21, 2018

Virtual Reality Applications and Impacts参考文献 29被引用数 3

ひとこと要約

本稿では、化学および構造生物学における没入的でインタラクティブな3D分子可視化およびモデリングを可能にする、一般品でオープンソースの技術を用いたウェブベースの拡張現実（AR）アプリケーションを提示する。リアルタイムでブラウザにアクセス可能なARを原子レベルおよび粗粒度モデルのシミュレーションに適用し、実験的観測量の即時計算、およびニューラルネットワークや共同作業用ソケットといった新たなウェブネイティブ技術との統合を実証する。これにより、次世代のインタラクティブ分子モデリングツールの道筋が示された。

ABSTRACT

This article reports prototype web apps that use commodity, open-source technologies for augmented and virtual reality to provide immersive, interactive human-computer interfaces for chemistry, structural biology and related disciplines. The examples, which run in any standard web browser and are accessible at https://lucianoabriata.altervista.org/jsinscience/arjs/armodeling/ together with demo videos, showcase applications that could go well beyond pedagogy, i.e. advancing actual utility in research settings: molecular visualization at atomistic and coarse-grained levels in interactive immersive 3D, coarse-grained modeling of molecular physics and chemistry, and on-the-fly calculation of experimental observables and overlay onto experimental data. From this playground, I depict perspectives on how these emerging technologies might couple in the future to neural network-based quantum mechanical calculations, advanced forms of human-computer interaction such as speech-based communication, and sockets for concurrent collaboration through the internet -all technologies that are today maturing in web browsers- to deliver the next generation of tools for truly interactive, immersive molecular modeling that can streamline human thought and intent with the numerical processing power of computers.

研究の動機と目的

• 化学および構造生物学における分子可視化およびモデリングのためのアクセスしやすいウェブベースの拡張現実ツールの開発。
• 専用のハードウェアやソフトウェアに依存しないように、一般品でオープンソースのウェブ技術を活用すること。
• 原子レベルおよび粗粒度レベルの両方で、リアルタイムかつインタラクティブな3D分子構造の可視化を可能にすること。
• シミュレートされたデータと直接比較可能な、実験的観測量の即時計算をシミュレートされた構造に統合すること。
• 将来のウェブベース分子モデリングプラットフォームにおけるニューラルネットワークベースの量子力学、音声ベースのインタラクション、リアルタイム共同機能の統合を想定すること。

提案手法

• HTML5、WebGL、WebXRを用いた標準的なウェブ技術による、クロスプラットフォーム対応のAR/VRレンダリングの実装。
• JSmol、Three.jsなどのオープンソース分子可視化ライブラリを活用し、複雑な3D分子構造のレンダリングを実現。
• 物理ベースの粗粒度モデリングフレームワークを統合し、リアルタイムでの分子動力学的シミュレーションを実現。
• 計算された実験的観測量（例：電子密度、散乱プロファイル）を、シミュレートされたデータまたは実際の実験データに動的に重ね合わせる。
• WebSocketsによるリアルタイム共同作業や、WebAssemblyによる高パフォーマンス計算といった、現代のウェブブラウザの機能を活用。
• ジェスチャーおよび音声入力といったインタラクティブな人間-コンピュータインターフェースの設計により、没入感と使いやすさを向上。

実験結果

リサーチクエスチョン

• RQ1 一般品のウェブベースAR技術は、専用のハードウェアを必要とせずに、高精細でインタラクティブな分子可視化を実現できるか？
• RQ2 ウェブブラウザ内で、シミュレートされた分子構造と連携して、実験的観測量の即時計算をどのように統合できるか？
• RQ3 WebSockets、WebAssembly、音声インターフェースといった新たなウェブネイティブ技術が、共同分子モデリングをどの程度向上できるか？
• RQ4 粗粒度モデリングと原子レベルの可視化が、1つのインタラクティブでブラウザベースのAR環境で共存できるか？
• RQ5 将来のウェブベース分子モデリングプラットフォームに、ニューラルネットワークベースの量子力学的計算をどのように統合できるか？

主な発見

• プロトタイプのウェブアプリケーションは、標準のウェブブラウザ内で、原子レベルおよび粗粒度レベルの両方でインタラクティブで没入型の3D分子可視化を成功裏にレンダリングした。
• 電子密度マップや散乱プロファイルといった実験的観測量の即時計算が、AR環境内でのシミュレートまたは実際のデータに動的に重ね合わせられる。
• 粗粒度モデルを用いた分子動力学的シミュレーションにおいて、リアルタイムでのパフォーマンスを示し、コンformational変化のインタラクティブな探索を可能にした。
• WebSocketsを介した共同機能により、複数ユーザーが共有されたAR空間で同時に相互作用でき、分散型の研究や教育を支援した。
• 音声ベースのインタラクションとニューラルネットワーク駆動の量子力学的予測の統合は、ウェブベースのフレームワーク内での将来の拡張として実現可能であると示された。
• 本アプローチは、モダンなウェブブラウザを搭載した任意のデバイス（モバイルおよびデスクトップシステムを含む）で動作可能な完全なプラットフォーム独立性を達成した。