[논문 리뷰] Towards Commodity, Web-Based Augmented Reality Applications for Research and Education in Chemistry and Structural Biology

Luciano A. Abriata|arXiv (Cornell University)|2018. 06. 21.

Virtual Reality Applications and Impacts참고 문헌 29인용 수 3

한 줄 요약

이 논문은 화학 및 구조 생물학 분야에서 몰입형이고 상호작용 가능한 3D 분자 시각화 및 모델링을 가능하게 하기 위해 일반적인 오픈소스 기술을 활용한 웹 기반 증강현실(AR) 응용 프로그램을 제시한다. 실시간으로 브라우저에 액세스 가능한 AR를 원자 수준 및 군집화된 모델링에 적용하고, 실험적 관측 가능성을 실시간으로 계산하며, 신경망과 협업 소켓과 같은 새로운 웹 네이티브 기술과 통합함으로써 차세대 상호작용 기반 분자 모델링 도구의 길을 열어 놓는다.

ABSTRACT

This article reports prototype web apps that use commodity, open-source technologies for augmented and virtual reality to provide immersive, interactive human-computer interfaces for chemistry, structural biology and related disciplines. The examples, which run in any standard web browser and are accessible at https://lucianoabriata.altervista.org/jsinscience/arjs/armodeling/ together with demo videos, showcase applications that could go well beyond pedagogy, i.e. advancing actual utility in research settings: molecular visualization at atomistic and coarse-grained levels in interactive immersive 3D, coarse-grained modeling of molecular physics and chemistry, and on-the-fly calculation of experimental observables and overlay onto experimental data. From this playground, I depict perspectives on how these emerging technologies might couple in the future to neural network-based quantum mechanical calculations, advanced forms of human-computer interaction such as speech-based communication, and sockets for concurrent collaboration through the internet -all technologies that are today maturing in web browsers- to deliver the next generation of tools for truly interactive, immersive molecular modeling that can streamline human thought and intent with the numerical processing power of computers.

연구 동기 및 목표

• 화학 및 구조 생물학 분야에서 분자 시각화 및 모델링를 위한 접근성 있고 웹 기반의 증강현실 도구를 개발한다.
• 특수 하드웨어나 소프트웨어에 의존하지 않도록 일반적인 오픈소스 웹 기술을 활용한다.
• 원자 수준과 군집화된 수준의 3D 분자 구조에 대해 실시간으로 상호작용 가능한 몰입형 시각화를 가능하게 한다.
• 모델링된 데이터와 직접 비교할 수 있도록 실험적 관측 가능성을 실시간으로 계산하고 통합한다.
• 미래의 웹 기반 분자 모델링 플랫폼에 신경망 기반 양자역학, 음성 기반 인터랙션, 실시간 협업 기능을 통합하는 것을 전망한다.

제안 방법

• HTML5, WebGL, WebXR와 같은 표준 웹 기술을 활용해 크로스 플랫폼 AR/VR 렲영을 위한 웹 애플리케이션을 구현한다.
• 복잡한 3D 분자 구조를 렌더링하기 위해 오픈소스 분자 시각화 라이브러리(예: JSmol, Three.js)를 활용한다.
• 실시간으로 분자 동역학 시뮬레이션을 수행할 수 있도록 물리 기반의 군집화 모델링 프레임워크를 통합한다.
• 전자 밀도, 산란 프로파일 등 계산된 실험적 관측 가능성을 시뮬레이션된 또는 실제 실험 데이터 위에 동적으로 오버레이한다.
• 실시간 협업을 위해 WebSockets와 같은 현대 웹 브라우저 기능을 활용하고, 고성능 계산을 위해 WebAssembly를 활용한다.
• 제스처 및 음성 입력을 포함한 직관적인 인간-컴퓨터 상호작용 모델을 설계하여 몰입감과 사용성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 일반적인 웹 기반 AR 기술이 특수 하드웨어 없이 고해상도이고 상호작용 가능한 분자 시각화를 제공할 수 있는가?
• RQ2 웹 브라우저 내에서 실시간으로 계산된 실험적 관측 가능성을 시뮬레이션된 분자 구조와 어떻게 통합할 수 있는가?
• RQ3 웹 네이티브 기술(예: WebSockets, WebAssembly, 음성 인터페이스)이 협업 기반 분자 모델링을 얼마나 향상시킬 수 있는가?
• RQ4 군집화 모델링과 원자 수준의 시각화가 하나의 상호작용 가능한 웹 기반 AR 환경에서 공존할 수 있는가?
• RQ5 신경망 기반 양자역학적 계산은 향후 웹 기반 분자 모델링 플랫폼에 어떻게 통합될 수 있는가?

주요 결과

• 프로토타입 웹 애플리케이션은 표준 웹 브라우저에서 원자 수준과 군집화된 수준의 상호작용 가능한 몰입형 3D 분자 시각화를 성공적으로 렌더링한다.
• 전자 밀도도, 산란 프로파일 등 실험적 관측 가능성을 실시간으로 계산하여 AR 환경 내에서 시뮬레이션된 또는 실제 데이터 위에 동적으로 오버레이할 수 있다.
• 군집화 모델을 사용한 분자 동역학 시뮬레이션에 대해 실시간 성능을 보이며, 구형 변화의 상호작용 탐색을 가능하게 한다.
• WebSockets 기반 협업 기능을 통해 다수의 사용자가 공유된 AR 공간에서 동시에 상호작용할 수 있으며, 분산된 연구 및 교육을 지원한다.
• 음성 기반 인터랙션과 신경망 기반 양자역학적 예측의 통합은 웹 기반 프레임워크 내에서 향후 확장 가능성을 입증한 사례로 제시된다.
• 이 접근법은 모든 기기에서 현대 웹 브라우저를 통해 실행 가능한 완전한 플랫폼 독립성을 달성했으며, 모바일 및 데스크톱 시스템 모두에서 작동한다.