[論文レビュー] Technical Note: Towards Virtual Monitors for Image Guided Interventions - Real-time Streaming to Optical See-Through Head-Mounted Displays

Long Qian, Mathias Unberath+5 more|arXiv (Cornell University)|Oct 2, 2017

Surgical Simulation and Training被引用数 11

ひとこと要約

本稿では、X線ガイドド手術における画像ガイドド介入のため、高解像度の医用画像を光学透過型ヘッドマウントディスプレイ（OST-HMD）にリアルタイムでストリーミングするバーチャルモニターシステムを提示する。このシステムにより、頭部、世界座標、または身体に固定されたミックスドリアリティ可視化が可能となる。平均エンドツーエンド遅延は214±30 ms、リフレッシュレートは41.4±32.0 Hzを達成しており、X線ガイドド手術における前臨床評価の可能性を示している。

ABSTRACT

Purpose: Image guidance is crucial for the success of many interventions. Images are displayed on designated monitors that cannot be positioned optimally due to sterility and spatial constraints. This indirect visualization causes potential occlusion, hinders hand-eye coordination, leads to increased procedure duration and surgeon load. Methods: We propose a virtual monitor system that displays medical images in a mixed reality visualization using optical see-through head-mounted displays. The system streams high-resolution medical images from any modality to the head-mounted display in real-time that are blended with the surgical site. It allows for mixed reality visualization of images in head-, world-, or body-anchored mode and can thus be adapted to specific procedural needs. Results: For typical image sizes, the proposed system exhibits an average end-to-end delay and refresh rate of 214 +- 30 ms and 41:4 +- 32:0 Hz, respectively. Conclusions: The proposed virtual monitor system is capable of real-time mixed reality visualization of medical images. In future, we seek to conduct first pre-clinical studies to quantitatively assess the impact of the system on standard image guided procedures.

研究の動機と目的

• 手術の無菌性および空間的制約のため、従来のモニタが適切に配置されないという限界を解消するため。
• ミックスドリアリティを通じた医用画像のインライン可視化を可能にすることで、外科医の作業負荷を軽減し、視覚と手の協調性を向上させるため。
• あらゆる医用画像モodalitiy（画像診断モality）から高解像度の画像をリアルタイムで光学透過型HMDにストリーミングするシステムを開発するため。
• エンドツーエンド遅延、フレームレートの安定性、レンダリングリフレッシュレートの観点から、さまざまな画像サイズにおけるシステムの性能を評価するため。
• 将来的な前臨床研究において、システムが手術プロトコルや手術効率に与える影響を評価可能にするため。

提案手法

• システムは、フラuroscopy、CアームCBCT、エコー、CT、MRIなどの医用画像モダリティからのビデオ出力をキャプチャするためのフレームグラッパーを使用する。
• 専用の画像処理ユニットが、HMDレンダリングに最適化されたリアルタイムのスケーリングおよび圧縮処理を実行する。
• 医用画像はネットワーク経由でMicrosoft HoloLensのOST-HMDに送信され、空間追跡を用いて画像を現実の手術現場に重ねて表示する。
• システムは3つの表示モードをサポートする：頭部固定（ユーザーの頭部に対して固定）、世界座標固定（部屋内に固定）、身体固定（患者の解剖学的構造に固定）。
• 画像レンダリングはHMDのリフレッシュサイクルと同期され、リアルタイムパフォーマンスを最適化するためのテクスチャロード処理が最適化されている。
• 性能評価は、エンドツーエンド遅延、フレーム受信レート、レンダリングリフレッシュレートを、複数の画像サイズ（RGB24で620×480から1920×1080ピクセルまで）で測定することで実施する。

実験結果

リサーチクエスチョン

• RQ1 光学透過型HMDに高解像度医用画像をリアルタイムでストリーミングすることで、画像ガイドド介入における臨床的用途に耐えうる遅延とフレームレートを達成できるか？
• RQ2 エンドツーエンド遅延とリフレッシュレートの観点から、さまざまな画像サイズおよびモダリティにおけるシステムの性能はいかがなものか？
• RQ3 画像ストリーミングパイプラインにおける主なパフォーマンスボトルネックは何か。また、それらを特定し、定量的に評価できるか？
• RQ4 本システムは、従来のモニタと比較して、視覚と手の協調性を向上させる安定したインライン可視化を可能にするか？
• RQ5 本システムは、X線ガイドド手術の前臨床研究への展開に適しているか？

主な発見

• システムは平均エンドツーエンド遅延214±30 msを達成しており、遅延の主な要因はフレームグラッパーと画像処理ユニットであり、それぞれ平均で約100 msずつが寄与している。
• 通常の画像サイズにおける平均リフレッシュレートは41.4±32.0 Hzであり、RGB24で1000×1000ピクセル未満の画像では30 Hzを超える有効フレームレートが達成されている。
• 1920×1080解像度では、リフレッシュレートが16.4±6.5 Hzを維持しており、テクスチャロード遅延が61.3±81.7 msであるため、レンダリングが主要なパフォーマンスボトルネックであると示唆されている。
• フレーム受信レートは画像サイズによって顕著に変動し、620×480画像では標準偏差が最大44.6 Hzに達しており、データ到着の不一致やフレームの束の発生を示唆している。
• 頭部固定、世界座標固定、身体固定の3モードすべてにおいて、安定したミックスドリアリティ可視化が実現されており、手術プロトコルに応じた柔軟な適応が可能である。
• 結果から、本システムは現在のフレームレートの安定性の限界にもかかわらず、一般的に7.5–30 Hzで動作するX線ガイドド手術における前臨床評価に適していると示唆されている。