[논문 리뷰] When Eye-Tracking Meets Machine Learning: A Systematic Review on Applications in Medical Image Analysis

Sahar Moradizeyveh, Mehnaz Tabassum외 4명|arXiv (Cornell University)|2024. 03. 12.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 체계적 리뷰는 의료 영상 분석에서 눈의 시선 추적을 기계학습(ML) 및 딥러닝(DL)과 융합한 내용을 종합적으로 분석하며, 방사선 전문의의 시각적 주의 패턴이 모델의 해석 가능성과 진단 정확도를 향상시킬 수 있음을 보여준다. 눈의 시선 데이터를 감독 신호로 활용함으로써, 주의 일致성과 이중 스트림 아키텍처가 병변 탐지 성능을 햖고 인간의 인지 과정과 AI 결정을 일치시킨다.

ABSTRACT

Eye-gaze tracking research offers significant promise in enhancing various healthcare-related tasks, above all in medical image analysis and interpretation. Eye tracking, a technology that monitors and records the movement of the eyes, provides valuable insights into human visual attention patterns. This technology can transform how healthcare professionals and medical specialists engage with and analyze diagnostic images, offering a more insightful and efficient approach to medical diagnostics. Hence, extracting meaningful features and insights from medical images by leveraging eye-gaze data improves our understanding of how radiologists and other medical experts monitor, interpret, and understand images for diagnostic purposes. Eye-tracking data, with intricate human visual attention patterns embedded, provides a bridge to integrating artificial intelligence (AI) development and human cognition. This integration allows novel methods to incorporate domain knowledge into machine learning (ML) and deep learning (DL) approaches to enhance their alignment with human-like perception and decision-making. Moreover, extensive collections of eye-tracking data have also enabled novel ML/DL methods to analyze human visual patterns, paving the way to a better understanding of human vision, attention, and cognition. This systematic review investigates eye-gaze tracking applications and methodologies for enhancing ML/DL algorithms for medical image analysis in depth.

연구 동기 및 목표

• 눈의 시선 추적 데이터가 의료 영상 분석에서 기계학습/딥러닝 모델의 해석 가능성과 성능을 향상시키는 방식을 조사하기.
• 특히 3차원 영상 및 다중 모odal 데이터 융합에서 인간의 시각적 주의와 AI를 융합하는 데 있어 메타적 방법론적 격차를 특정하기.
• 눈의 시선 데이터가 인간의 진단 추론 및 주의 패턴을 모방하는 모델 훈련에 어떻게 기여하는지 검토하기.
• 눈의 시선 기반 감독이 모델의 강건성, 특히 병변 탐지에서의 가짜 음성 오류 감소에 미치는 영향을 평가하기.
• 임상 환경에서 눈의 시선 데이터 수집, 주석 처리, 실시간 처리 과제 해결에 도전 과제 분석하기.

제안 방법

• 눈의 시선 추적과 의료 영상에서의 기계학습/딥러닝을 다룬 동료 심사 논문을 체계적으로 검토하여 데이터 원천, 방법론, 평가 지표에 중점을 두었다.
• 연구를 눈의 시선 데이터 활용 방식에 따라 분류: 훈련 중 감독 신호로 사용(예: 주의 일치성) 또는 이중 스트림 아키텍처에서 별도의 모odal로 사용.
• 주의 일치성과 같은 핵심 기법 분석: 모델의 주의를 교차 엔트로피 또는 MSE와 같은 손실 함수를 사용해 인간의 집중 지도와 일치하도록 정규화.
• AUC, 정확도, F1 점수, IoU, 구조적 유사도, 피크 신호 대 노이즈 비율 등의 지표를 사용해 모델 성능 평가.
• 눈의 시선 인식 이미지 처리를 위한 비전 트랜스포머(ViTs), 그래프 신경망(GNNs), 애핀 변환 네트워크 등을 포함한 아키텍처 검토.
• 눈의 시선 데이터를 훈련/검증 시(감독 있음)와 추론 시(눈의 시선 없음)에 사용하는 방식 분석하여 강건성의 상충 관계 파악하기.

실험 결과

연구 질문

• RQ1 눈의 시선 추적 데이터는 의료 영상 분석에서 기계학습/딥러닝 모델의 해석 가능성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 의료 AI 시스템에서 눈의 시선 데이터와 영상 데이터를 융합하기 위한 주요 아키텍처 접근 방식은 무엇인가?
• RQ3 모델의 주의를 인간의 시각적 집중 패턴과 일치시킬 경우 진단 성능 향상 정도는 어느 정도인가?
• RQ4 임상 및 연구 환경에서 눈의 시선 데이터 수집, 주석 처리, 활용 과제는 무엇인가?
• RQ5 눈의 시선 기반 모델은 다양한 영상 모odal에서 병변 탐지에 있어 전통적 접근 방식과 비교해 어떻게 다를까?

주요 결과

• 눈의 시선 데이터는 병변 탐지 작업에서 특히 인간의 시각적 탐색 패턴과 인공 주의를 일치시킴으로써 모델의 해석 가능성을 크게 향상시킨다.
• 눈의 시선 데이터를 훈련 중에 사용하는 주의 일치성 아키텍처는 모델과 인간의 주의 간 일치를 향상시키지만, 추론 시 눈의 시선 데이터가 제공되지 않을 경우 성능 저하가 발생할 수 있다.
• 눈의 시선과 영상 데이터를 별도로 처리하는 이중 스트림 아키텍처는 더 나은 해석 가능성을 제공하지만, 계산 비용이 높고 효율성이 떨어진다.
• 다른 진전에도 불구하고 대부분의 연구는 2차원 의료 영상에 집중되어 있어, 3차원 영상 및 부피 분석에 대한 눈의 시선 인식 모델의 적용에 있어 중요한 격차가 존재한다.
• 진단 기준 및 방사선 보고서와 같은 다른 임상 지식 자료와 눈의 시선 데이터의 통합이 뚜렷하게 부족하여, 다중 모달 학습 잠재력이 제한된다.
• 눈의 시선 데이터를 감독 신호로 사용하면 모델의 강건성이 향상되고, 특히 흉부 X-레이 및 CT 스캔에서 종양 탐지 시 가짜 음성 오류가 감소한다.