[論文レビュー] When Eye-Tracking Meets Machine Learning: A Systematic Review on Applications in Medical Image Analysis

Sahar Moradizeyveh, Mehnaz Tabassum+4 more|arXiv (Cornell University)|Mar 12, 2024

Retinal Imaging and Analysis被引用数 4

ひとこと要約

本システマティックレビューは、医療画像解析における眼動-trackingと機械学習（ML）・ディープラーニング（DL）の統合を要約し、放射線科医の視線のパターンがモデルの解釈可能性と診断精度を向上させることを示している。視線データを教師信号として活用することで、注目一致性と二重ストリームアーキテクチャが、病変検出を向上させるとともに、AI意思決定を人間の認知と一致させる。

ABSTRACT

Eye-gaze tracking research offers significant promise in enhancing various healthcare-related tasks, above all in medical image analysis and interpretation. Eye tracking, a technology that monitors and records the movement of the eyes, provides valuable insights into human visual attention patterns. This technology can transform how healthcare professionals and medical specialists engage with and analyze diagnostic images, offering a more insightful and efficient approach to medical diagnostics. Hence, extracting meaningful features and insights from medical images by leveraging eye-gaze data improves our understanding of how radiologists and other medical experts monitor, interpret, and understand images for diagnostic purposes. Eye-tracking data, with intricate human visual attention patterns embedded, provides a bridge to integrating artificial intelligence (AI) development and human cognition. This integration allows novel methods to incorporate domain knowledge into machine learning (ML) and deep learning (DL) approaches to enhance their alignment with human-like perception and decision-making. Moreover, extensive collections of eye-tracking data have also enabled novel ML/DL methods to analyze human visual patterns, paving the way to a better understanding of human vision, attention, and cognition. This systematic review investigates eye-gaze tracking applications and methodologies for enhancing ML/DL algorithms for medical image analysis in depth.

研究の動機と目的

• 眼動-trackingデータが医療画像解析におけるML/DLモデルの解釈可能性とパフォーマンスをどのように向上させるかを調査すること。
• 特に3次元画像処理とマルチモodalデータ統合の文脈において、人間の視覚的注意とAIを統合する際のメソドロジカルなギャップを特定すること。
• 視線データが人間の診断的推論と注目パターンを模倣するモデルの学習に果たす役割を検討すること。
• 視線を考慮した教師信号が、病変検出における誤って陰性と判定されるエラー（偽陰性）の低減に寄与するかどうかを評価すること。
• 臨床現場における眼動データの収集、アノテーション、リアルタイム処理における課題に対処すること。

提案手法

• 眼動-trackingと医療画像におけるML/DLに関する査読付き論文のシステマティックレビューを実施し、データソース、手法、評価指標に焦点を当てた。
• 研究を、視線データを訓練中に教師信号として使用する（例：注目一致性）か、二重ストリームアーキテクチャにおける別々のモodalとして使用するかに基づいて分類した。
• 注目一致性などの主要な技術を分析した。注目一致性では、交差エントロピーまたはMSEなどの損失関数を用いて、モデルの注目度が人間の注視マップと一致するように正則化した。
• AUC、正解率、F1スコア、IoU、構造的類似度、ピークノイズ比などの指標を用いてモデルのパフォーマンスを評価した。
• 視線に配慮した画像処理のためのアーキテクチャとして、ビジョントランスフォーマー（ViTs）、グラフニューラルネットワーク（GNNs）、アフィン変換ネットワークをレビューした。
• 視線データの使用を訓練／検証（教師あり）と推論（視線なし）の両方で評価し、モデルの頑健性に及ぼすトレードオフを同定した。

実験結果

リサーチクエスチョン

• RQ1 眼動-trackingデータは、医療画像解析におけるML/DLモデルの解釈可能性と正確性をどのように向上させるか？
• RQ2 医療AIシステムにおいて、視線データと画像データを統合するための支配的アーキテクチャ的アプローチは何か？
• RQ3 モデルの注目度を人間の視線の集中パターンに合わせることで、診断パフォーマンスはどの程度向上するか？
• RQ4 臨床的および研究的現場における眼動データ収集、アノテーション、活用における主な課題は何か？
• RQ5 視線を考慮したモデルは、さまざまな画像モodalにおいて、従来のアプローチと比較して病変検出にどの程度優れているか？

主な発見

• 視線データは、特に病変検出タスクにおいて、人工的注目度を人間の視覚的探索パターンと一致させることで、モデルの解釈可能性を顕著に向上させる。
• 訓練中に視線データを用いる注目一致性アーキテクチャは、モデルと人間の注目度の整合性を向上させるが、推論時には視線データが利用できないためパフォーマンスが低下する可能性がある。
• 視線と画像データを別々に処理する二重ストリームアーキテクチャは、解釈可能性に優れるが、計算コストが高く、効率が悪い。
• 進展は見られるものの、大多数の研究は2次元医療画像に限定されており、3次元画像処理やボリューム解析への視線に配慮したモデルの応用には深刻なギャップが残っている。
• 診断基準やレントゲン報告書などの他の臨床的知識源と視線データを統合する試みが著しく不足しており、マルチモーダル学習の潜在能力が制限されている。
• 視線データを教師信号として用いることで、モデルの頑健性が向上し、特にチアックX線やCTスキャンにおける結節検出における偽陰性エラーが低減される。