[論文レビュー] syGlass: Interactive Exploration of Multidimensional Images Using Virtual Reality Head-mounted Displays

Stanislav Pidhorskyi, Michael A. Morehead+3 more|arXiv (Cornell University)|Apr 23, 2018

Computer Graphics and Visualization Techniques参考文献 10被引用数 33

ひとこと要約

syGlass は、低価格のヘッドマウントディスプレイ（HMD）を用いて、大規模な多次元バイオメディカル画像データセットをインタラクティブかつ没入型に探索できるVRベースのソフトウェアシステムである。最適化されたデータパイプラインを介して最大16TBのデータセットをリアルタイムでボリュームレンダリングを実現し、仮想環境内に高度な3Dインタラクション、アノテーション、可視化ツールを提供することで、従来の2D可視化手法と比較して複雑な3D構造の認識が著しく向上する。

ABSTRACT

The quest for deeper understanding of biological systems has driven the acquisition of increasingly larger multidimensional image datasets. Inspecting and manipulating data of this complexity is very challenging in traditional visualization systems. We developed syGlass, a software package capable of visualizing large scale volumetric data with inexpensive virtual reality head-mounted display technology. This allows leveraging stereoscopic vision to significantly improve perception of complex 3D structures, and provides immersive interaction with data directly in 3D. We accomplished this by developing highly optimized data flow and volume rendering pipelines, tested on datasets up to 16TB in size, as well as tools available in a virtual reality GUI to support advanced data exploration, annotation, and cataloguing.

研究の動機と目的

• 従来の2D可視化システムでは扱いにくい、大規模で複雑な3Dバイオメディカル画像データセットの可視化とインタラクションの課題に対処すること。
• バーチャルリアリティ（VR）の奥行き認識と空間認識の利点を活用し、複雑な3D生物学的構造の理解を向上させること。
• 消費者向けワークステーションにHMDを搭載した状態で、テラバイトスケールのボリュームデータをリアルタイムにレンダリングできる高性能でインタラクティブなシステムを開発すること。
• VR環境内ですぐに使える3D対応のツールを提供し、アノテーション、データのカタログ化、共同データ探索を可能にすること。
• 研究者が時間経過に伴う特徴を追跡し、関心領域（ROI）を定義し、カードベースのシステムを用いて複雑な可視化状態を保存できること。

提案手法

• 本システムは、最適化されたデータフローと直接ボリュームレンダリング（DVR）パイプラインに基づいて構築されたネイティブ可視化・アノテーションアプリケーション（NVAA）を用い、最大16TBのデータセットを処理する。
• ボリュームデータは、GPUへの高速転送を目的としたカスタムバイナリコンテナに格納され、メッシュおよびアノテーションデータはローカルまたはリモートデータベースを介したPythonベースのサーバーアプリケーションで管理される。
• Electronベースの syBook 管理アプリケーションにより、プロジェクト管理、カードベースの状態永続化、複数のワークステーションに跨るユーザー協働が可能となる。
• カスタムVR GUI により6自由度（6-DOF）のインタラクションツールが提供され、3Dカーソル、特徴追跡、関心領域（ROI）選択、および強化可視化ツール（強度、色、深度、勾配に基づくレンダリングのためのトランジション関数など）が利用可能である。
• トランジション関数はスカラー値、勾配、または深度に適用され、特徴の可視性を向上させる。マルチチャネルおよびカラーマップレンダリングのサポートも含まれる。
• カードは、カメラの位置、シェーダー設定、ビューポイントなどのユーザー状態をシリアル化し、複雑な可視化セッションを保存・検索・復元可能にすることで、効率的なナビゲーションと協働を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低価格のHMDを用いた没入型VRは、大規模かつ多次元のバイオメディカル画像データの認識と探索をどのように向上させ得るか？
• RQ2 スタンドアロンのワークステーション上でVR環境でテラバイトスケールのデータセットをリアルタイムで直接ボリュームレンダリングするためには、どのようなパフォーマンス最適化が必要か？
• RQ3 共同生物学的研究を支援するVR環境において、インタラクティブな3Dアノテーションとデータカタログ化を効果的に行うにはどうすればよいか？
• RQ4 神経回路や細胞小器官のような複雑な3D生物学的構造の特定と分析を高めるために、VRで最も効果的な可視化技術は何か？
• RQ5 ユーザーのインタラクション状態をどのように永続的に保存・共有することで、反復的かつ共同のデータ探索を可能にするか？

主な発見

• syGlass は、消費者向けハードウェアにHMDを搭載した状態で、最適化されたデータフローとボリュームレンダリングパイプラインを用いて、最大16TBのデータセットをリアルタイムにレンダリングすることに成功した。
• 本システムはボリュームデータに対する没入的でステレオスコピックな3Dインタラクションを可能にし、2Dのスライスごとの表示と比較して、複雑な3D構造の認識が著しく向上した。
• 特徴追跡ツールにより、3D空間にマーカーを配置することで、時間経過に伴う移動する生物学的特徴を追跡し、関連する時間的トラックを生成できる。
• ROIツールにより、特定の分析、照会、またはデータクリッピングを目的とした直方体領域の選択が可能となり、焦点を当てた探索が可能になった。
• カードシステムにより、カメラの位置、シェーダー設定、ビューポイントなどの完全なユーザー状態が効果的にキャプチャ・復元可能であり、効率的なナビゲーションと協働を可能にした。
• 強度、色、深度、勾配に基づくトランジション関数を用いた可視化強化により、レンダリングされたボリューム内での特徴検出と構造の明瞭さが顕著に向上した。