[논문 리뷰] GazeSAM: What You See is What You Segment

Bin Wang, Armstrong Aboah외 2명|arXiv (Cornell University)|2023. 04. 26.

Gaze Tracking and Assistive Technology인용 수 8

한 줄 요약

GazeSAM은 Segment Anything Model (SAM)과 시선 추적을 결합하여 방사선과 의사들이 실시간 의료 영상 분할을 가능하게 하며, 시선 데이터를 프롬프트로 사용합니다.

ABSTRACT

This study investigates the potential of eye-tracking technology and the Segment Anything Model (SAM) to design a collaborative human-computer interaction system that automates medical image segmentation. We present the extbf{GazeSAM} system to enable radiologists to collect segmentation masks by simply looking at the region of interest during image diagnosis. The proposed system tracks radiologists' eye movement and utilizes the eye-gaze data as the input prompt for SAM, which automatically generates the segmentation mask in real time. This study is the first work to leverage the power of eye-tracking technology and SAM to enhance the efficiency of daily clinical practice. Moreover, eye-gaze data coupled with image and corresponding segmentation labels can be easily recorded for further advanced eye-tracking research. The code is available in \url{https://github.com/ukaukaaaa/GazeSAM}.

연구 동기 및 목표

• 실시간 의료 영상 분할을 위해 시선 추적과 SAM을 통합한 공동 인간-컴퓨터 상호작용 시스템을 제안한다.
• 화면 기반 시선 추적 데이터를 SAM에 입력 프롬프트로 활용하여 필요에 따라 분할 마스크를 생성한다.
• 2D 및 3D 의료 영상 모두를 지원하고 거친 및 정밀 분할 워크플로를 촉진한다.
• 추가 연구를 위해 시선 추적 데이터와 함께 분할 마스크를 기록하는 사용자 친화적 인터페이스를 제공한다.

제안 방법

• 60 Hz에서 다섯점 보정으로 시선 좌표를 수집하기 위해 Tobii Pro Nano 화면 기반 안구 추적기를 사용한다.
• 화면 공간에서 이미지 좌표 공간으로 시선 좌표를 변환하기 위해 좌표 매핑 함수 f(·)를 사용한다.
• SAM용 두 가지 시선 프롬프트 옵션을 제공한다: (i) 모든 시선 궤적을 점들의 시퀀스로, (ii) 거친 분할을 위한 마지막 시선점.
• 변환된 시선 프롬프트와 사전 계산된 이미지 임베딩을 SAM에 입력하여 거의 실시간으로 분할 마스크를 생성한다.
• 시선, 트래킹 및 실시간 분할을 시각화하는 사용자 인터페이스를 제공하고 마스크 저장 및 추가 시선 프롬프트로의 정제 옵션을 포함한다.
• 시스템 한계와 향후 개선점에 대해 논의하며, 의료 데이터에서 SAM의 미세 조정 포함.

Figure 1: Overview of our proposed system.

실험 결과

연구 질문

• RQ1 시선 데이터가 의료 영상의 실시간 분할을 위한 SAM의 프롬프트로 효과적으로 사용될 수 있는가?
• RQ2 임상 워크플로우에서 2D 및 3D 의료 영상이 SAM의 시선 구동 분할에서 어떻게 작동하는가?
• RQ3 인터랙티브 의료 영상 주석 작업을 위한 화면 기반 시선 추적의 실용적 이점과 한계는 무엇인가?

주요 결과

• GazeSAM 시스템은 방사선과 의사의 시선에 의해 실시간 분할 마스크 생성을 가능하게 한다.
• 두 가지 시선 프롬프트 옵션이 지원된다: 전체 시선 시퀀스 프롬프트와 거친 분할을 위한 마지막 점 프롬프트.
• 화면 기반 시선 추적기(Tobii Pro Nano)가 캘리브레이션과 함께 시선 데이터를 수집하여 SAM의 프롬 prompting에 사용된다.
• 이 방법은 2D 및 3D 의료 영상 모두를 지원하고 시선 프롬프트를 조정하여 반복적 정제를 가능하게 한다.
• 이 방법은 방사선과 의사의 작업 흐름 효율성을 향상시키고 향후 시선 추적 연구를 위한 시선 데이터를 수집할 가능성을 보여준다.
• 연구는 의료 영상에서 SAM의 한계를 논의하고 의료 데이터셋에서 SAM을 미세 조정하는 것이 잠재적 개선점으로 제안한다.

Figure 2: Two eye-gaze prompt options for segmentation in GazeSAM.