[논문 리뷰] Gaze2Segment: A Pilot Study for Integrating Eye-Tracking Technology into Medical Image Segmentation

Naji Khosravan, Haydar Çelik외 10명|arXiv (Cornell University)|2016. 08. 10.

Visual Attention and Saliency Detection참고 문헌 8인용 수 7

한 줄 요약

Gaze2Segment는 폐 CT 영상에서 종단점 기반 분할을 안내하기 위해 방사선의학자가 시선을 이동시키는 데이터와 컴퓨터가 유도한 시각적 주목도 지도를 통합하는 혁신적인 완전 자동 의료 영상 분할 시스템을 제안한다. 시선 유도 시각적 주목도와 局부 시각적 주목도에서 유도된 영상 맥락을 결합함으로써 추가 사용자 상호작용 없이도 86%의 Dice 유사도 계수와 1.45 mm의 Hausdorff 거리를 달성하였으며, 이는 눈동자 추적 기술을 정량적 의료 영상 분할에 통합한 최초의 진정한 통합 사례이다.

ABSTRACT

This study introduced a novel system, called Gaze2Segment, integrating biological and computer vision techniques to support radiologists' reading experience with an automatic image segmentation task. During diagnostic assessment of lung CT scans, the radiologists' gaze information were used to create a visual attention map. This map was then combined with a computer-derived saliency map, extracted from the gray-scale CT images. The visual attention map was used as an input for indicating roughly the location of a object of interest. With computer-derived saliency information, on the other hand, we aimed at finding foreground and background cues for the object of interest. At the final step, these cues were used to initiate a seed-based delineation process. Segmentation accuracy of the proposed Gaze2Segment was found to be 86% with dice similarity coefficient and 1.45 mm with Hausdorff distance. To the best of our knowledge, Gaze2Segment is the first true integration of eye-tracking technology into a medical image segmentation task without the need for any further user-interaction.

연구 동기 및 목표

• 방사선의학자가 보이는 시선 패턴을 생물학적 입력으로 활용하여 자동 의료 영상 분할을 안내하는 시스템을 개발하는 것.
• 눈동자 추적을 실시간 비침습적 국소화 신호로 활용하여 분할의 인식 단계를 해결하는 것.
• 인간의 시각적 주목도와 컴퓨터 비전 기반 시각적 주목도를 융합하여 수동 상호작용 없이도 분할 정확도를 향상시키는 것.
• 눈동자 추적 기술을 임상 독서 워크플로우에 통합하여 정량적 영상 분석을 가능하게 하는 가용성을 입증하는 것.

제안 방법

• 60 Hz에서 CT 영상에 대한 시선 좌표를 기록하기 위해 MobileEye XG 시스템을 사용한 실시간 눈동자 추적 및 눈동자 운동 데이터를 영상 좌표와 정렬하기 위한 校정.
• 진동 제거 및 시선 안정화를 통해 불안정한 눈동자 운동을 걸러내고 시선 좌표 정확도를 향상시키기.
• 정지 지속 시간과 빈도를 기반으로 관심 영역을 식별하기 위해 시선 데이터에서 시각적 주목도 지도 생성.
• 회색조 CT 영상에서 컴퓨터가 유도한 局부 시각적 주목도 및 기울기 지도 계산을 통해 전경 및 배경 신호 추출.
• 시선 주목도와 시각적 주목도 지도의 병합된 신호를 기반으로 종단점 기반 분할을 시작하고, 관심 영역의 윤곽을 자동으로 정의.
• 실시간 피드백 없이 눈동자 추적 및 영상 데이터의 오프라인 처리를 통해 분할 결과 생성.

실험 결과

연구 질문

• RQ1 방사선의학자가 보이는 시선 정보가 폐 CT 영상에서 자동 분할을 안내하는 데 효과적으로 활용될 수 있는가?
• RQ2 인간의 시각적 주목도와 컴퓨터가 유도한 시각적 주목도를 융합하면 분할 정확도가 어떻게 향상되는가?
• RQ3 눈동자 추적 기술이 의료 영상 분할에서 수동 종단점 설정을 얼마나 대체할 수 있는가?
• RQ4 추가 사용자 상호작용 없이 눈동자 추적 기술을 분할에 통합하는 것이 가능한가?

주요 결과

• Gaze2Segment 시스템은 분할 작업에서 평균 86%의 Dice 유사도 계수를 달성하여 참값과 강한 겹침을 보였다.
• 평균 Hausdorff 거리는 1.45 mm였으며, 경계 정의의 높은 공간 정확도를 반영했다.
• Gaze2Segment 결과와 수동 종단점 설정 또는 상호작용 기반 영역 성장 결과 사이에 통계적으로 유의미한 차이가 없었다(p > 0.05).
• 경험이 적은 방사선의학자들은 더 넓고 집중도가 낮은 주목도 패턴을 보였고, 전문의는 병변 영역에 더 집중된 정지 시선을 보였다.
• 주목도 지도 분석 결과, 비병변 영역이더라도 장시간 정지된 영역은 때로 잠재적 병변으로 분류되는 경우가 있어, 임의 경고 필터링이 필요함을 시사했다.
• 눈동자 데이터를 자동 분할의 생물학적 입력으로 사용할 수 있음을 입증하였으며, 실시간 임상 적용 가능성도 보였다.