[論文レビュー] Gaze2Segment: A Pilot Study for Integrating Eye-Tracking Technology into Medical Image Segmentation

Naji Khosravan, Haydar Çelik+10 more|arXiv (Cornell University)|Aug 10, 2016

Visual Attention and Saliency Detection参考文献 8被引用数 7

ひとこと要約

Gaze2Segmentは、放射線科医の視線追跡データとコンピュータが導出する注目度マップを統合して、肺CTスキャンにおけるシードベースのセグメンテーションを支援する、完全に自動化された医療画像セグメンテーションシステムを提案する。視線による視覚的注意と局所的な注目度から得られる画像コンテキストを組み合わせることで、追加のユーザー操作を必要とせず、86%のDice類似係数と1.45 mmのハウスドルフ距離を達成した。これは、眼動追跡を定量的医療画像セグメンテーションに統合した最初の真の統合事例である。

ABSTRACT

This study introduced a novel system, called Gaze2Segment, integrating biological and computer vision techniques to support radiologists' reading experience with an automatic image segmentation task. During diagnostic assessment of lung CT scans, the radiologists' gaze information were used to create a visual attention map. This map was then combined with a computer-derived saliency map, extracted from the gray-scale CT images. The visual attention map was used as an input for indicating roughly the location of a object of interest. With computer-derived saliency information, on the other hand, we aimed at finding foreground and background cues for the object of interest. At the final step, these cues were used to initiate a seed-based delineation process. Segmentation accuracy of the proposed Gaze2Segment was found to be 86% with dice similarity coefficient and 1.45 mm with Hausdorff distance. To the best of our knowledge, Gaze2Segment is the first true integration of eye-tracking technology into a medical image segmentation task without the need for any further user-interaction.

研究の動機と目的

• 放射線科医の視線パターンを生物学的入力として活用し、自動医療画像セグメンテーションを支援するシステムの開発を目的とする。
• 眼動追跡をリアルタイムで非侵襲的な局在化の手がかりとして用いることで、セグメンテーションの認識フェーズを改善することを目的とする。
• 人間の視覚的注意とコンピュータビジョンによる注目度を統合し、手動の操作を要せずセグメンテーションの正確性を向上させることを目的とする。
• 眼動追跡を臨床的読影ワークフローに統合し、定量的画像解析を実現する可能性を示すこと。

提案手法

• 60 Hzで動作するMobileEye XGシステムを用いて、CTスキャン上での視線座標をリアルタイムで記録し、眼動のデータと画像座標を一致させるためのキャリブレーションを実施する。
• ジタ除去と視線安定化処理により、不随な眼動をフィルタリングし、視線座標の正確性を向上させる。
• 固定時間と頻度に基づいて、注目領域を特定する視覚的注意マップを作成する。
• グレースケールCT画像からコンピュータが導出する局所的注目度マップと勾配マップを計算し、前景および背景の手がかりを抽出する。
• 視線による注意と注目度マップの両方の手がかりを統合して、シードベースのセグメンテーションを開始し、関心領域の輪郭指定を自動で実行する。
• リアルタイムでのフィードバックなしに、眼動追跡データと画像データをオフラインで処理し、セグメンテーション結果を生成する。

実験結果

リサーチクエスチョン

• RQ1 放射線科医の視線情報は、肺CTスキャンにおける自動セグメンテーションを効果的にガイドするために適切に利用可能か？
• RQ2 人間の視覚的注意とコンピュータが導出する注目度を統合することで、セグメンテーションの正確性はどのように向上するか？
• RQ3 眼動追跡は、医療画像セグメンテーションにおける手動のシード配置をどの程度代替可能か？
• RQ4 追加のユーザー操作なしに、眼動追跡をセグメンテーションに統合することは可能か？

主な発見

• Gaze2Segmentシステムは、セグメンテーションタスクにおいて平均86%のDice類似係数を達成し、正解との強い重複を示した。
• 平均ハウスドルフ距離は1.45 mmであり、境界の輪郭指定において高い空間的正確性を示した。
• Gaze2Segmentの結果と、手動によるシード配置やインタラクティブな領域成長法との間に、統計的に有意な差は認められなかった（p > 0.05）。
• 経験の浅い放射線科医は、広範かつ焦点のぼやけた注意パターンを示した一方、熟練した医師は病変領域に集中した固定を示した。
• 注意マップから、非病変領域であっても長時間固定された領域が、しばしば仮病変としてセグメンテーションされる傾向があることが判明し、誤検出のフィルタリングの必要性が示された。
• 本システムは、眼動データを生物学的入力として自動セグメンテーションに活用する可能性を実証し、リアルタイムでの臨床応用が見込まれる。