[論文レビュー] Apple Vision Pro for Healthcare: "The Ultimate Display"? -- Entering the Wonderland of Precision Medicine

Jan Egger, Christina Gsaxner+4 more|arXiv (Cornell University)|Jan 1, 2023

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本論文は、仮想現実（VR）と拡張現実（AR）を統合するミックスドリアリティ（MR）機能を活用することで、手術における『焦点の切り替え問題』などの臨床的課題に対処することを目的として、Apple Vision Proの精密医療分野における画期的応用可能性を評価している。Vision Proの高精細な空間表示、アイトラッキング、ハンドフリー操作が、臨床医の作業負荷を軽減し、手術ナビゲーションを向上させ、患者ケアに割ける時間を増やす可能性があると仮説を立てている。臨床的妥当性が確認されれば、医療分野における変革的ツールとなるだろう。

ABSTRACT

At the Worldwide Developers Conference (WWDC) in June 2023, Apple introduced the Vision Pro. The Vision Pro is a Mixed Reality (MR) headset, more specifically it is a Virtual Reality (VR) device with an additional Video See-Through (VST) capability. The VST capability turns the Vision Pro also into an Augmented Reality (AR) device. The AR feature is enabled by streaming the real world via cameras to the (VR) screens in front of the user's eyes. This is of course not unique and similar to other devices, like the Varjo XR-3. Nevertheless, the Vision Pro has some interesting features, like an inside-out screen that can show the headset wearers' eyes to "outsiders" or a button on the top, called "Digital Crown", that allows you to seamlessly blend digital content with your physical space by turning it. In addition, it is untethered, except for the cable to the battery, which makes the headset more agile, compared to the Varjo XR-3. This could actually come closer to the "Ultimate Display", which Ivan Sutherland had already sketched in 1965. Not available to the public yet, like the Ultimate Display, we want to take a look into the crystal ball in this perspective to see if it can overcome some clinical challenges that - especially - AR still faces in the medical domain, but also go beyond and discuss if the Vision Pro could support clinicians in essential tasks to spend more time with their patients.

研究の動機と目的

• Apple Vision Proが、空間登録の悪さやユーザーの注意力散漫といった、医療分野におけるARの持続的課題を克服できるかどうかを評価すること。
• Vision Proの先進的機能（アイトラッキング、デジタルクラウン操作、ビデオ・シー・スルーモード）が、手術ナビゲーションおよび臨床医と患者の相互作用をどのように向上させるかを検討すること。
• デジタル患者データを外科医の視界に直接統合することで、『焦点の切り替え問題』を軽減できるかどうかを調査すること。
• ハンドフリーでの文書作成およびAI統合インターフェースを活用することで、臨床ワークフローをどのように簡素化できるかを評価すること。

提案手法

• 本論文は、Microsoft HoloLens や Varjo XR-3 といった既存のAR/VRシステムと比較して、ハードウェアおよびインタラクションデザインの観点からVision Proの概念的・比較的分析を実施している。
• リアルタイムでデジタルコンテンツと物理的環境を融合できる、Vision Proのビデオ・シー・スルーモード（VST）機能の評価が行われている。
• 臨床現場における直感的で文脈に即応した操作を可能にする、インサイドアウト方式のアイトラッキングとデジタルクラウンインターフェースの分析が行われている。
• デバイスのアンタングルド設計と低遅延レンダリングが、動的でリアルタイムな臨床応用を可能にする要因であると分析されている。
• 研究者は、アイアン・サザーランドの『究極のディスプレイ』概念を理論的ベンチマークとして用い、Vision Proの技術的進歩を評価している。
• 特にHoloLensの応用に関するシステマティックレビューを含む、医療分野におけるAR/VR研究の知見を統合し、Vision Proの潜在的可能性を文脈づけて分析している。

実験結果

リサーチクエスチョン

• RQ1 Apple Vision Proは、手術中に患者に直接、空間的に登録された医療画像データを重ね合わせることで、『焦点の切り替え問題』を効果的に軽減できるか？
• RQ2 アイトラッキングやデジタルクラウンといったVision Proの独自機能が、臨床環境におけるユーザー操作性および空間認識をどのように向上させるか？
• RQ3 ハンドフリーでの電子的健康記録へのアクセスおよびAI支援意思決定支援システムの活用により、Vision Proが臨床医の事務的負担をどの程度軽減できるか？
• RQ4 Vision ProのMR機能が、臨床的に実用的で患者中心の『インテリジェントヘルスケアメタバース』の構築を支援できるか？
• RQ5 日常的医療現場への導入に際しての主な技術的・臨床的障壁は何か。それらは現在の技術進歩によって克服可能か？

主な発見

• Apple Vision Proは、手術中に患者に直接、空間的に登録された医療画像データを重ね合わせることで、『焦点の切り替え問題』の軽減に強く有望である。
• 高解像度で低遅延な表示を実現する、ビデオ・シー・スルーモード（VST）機能により、現在の多くのARヘッドセットよりも安定的かつ正確なAR可視化が可能である。
• アイトラッキングとデジタルクラウンの統合により、手動入力なしでデジタルコンテンツを操作できる画期的な直感的インターフェースが実現され、作業効率が向上する。
• アンタングルド設計により、Varjo XR-3のようなケーブル接続型システムと比較して、動的臨床環境における移動性と使いやすさが向上している。
• Vision Proはまだ臨床的妥当性の確認を受けていないが、その技術的特徴が、精密医療の発展および臨床医の燃え尽き防止に向けた主要候補であると位置づけられる。
• 本論文は、Vision ProがAI駆動の臨床意思決定支援システムと組み合わせられれば、医療分野におけるARの広範な採用を促進する触媒となる可能性があると結論づけている。