[論文レビュー] Fully Automated Tree Topology Estimation and Artery-Vein Classification

Aashis Khanal, Saeid Motevali+1 more|arXiv (Cornell University)|Feb 4, 2022

Retinal Imaging and Analysis被引用数 4

ひとこと要約

本稿では、単一カラーのフンダス画像から網膜血管のトポロジー推定および動静脈分類を完全に自動化されたグラフベースの手法を提示する。深層学習に基づく血管およびAV確率マップに加え、新規のコスト関数とハイレベルなグラフ操作を組み合わせることで、トポロジー誤りを是正し、手動による介入なしに最先端のAV分類精度を達成した。

ABSTRACT

We present a fully automatic, graph-based technique for extracting the retinal vascular topology -- that is, how different vessels are connected to each other -- given a single color fundus image. Determining this connectivity is very challenging because vessels cross each other in a 2D image, obscuring their true paths. We quantitatively validated the usefulness of our extraction method by using it to achieve comparable state-of-the-art results in retinal artery-vein classification. Our proposed approach works as follows: We first segment the retinal vessels using our previously developed state-of-the-art segmentation method. Then, we estimate an initial graph from the extracted vessels and assign the most likely blood flow to each edge. We then use a handful of high-level operations (HLOs) to fix errors in the graph. These HLOs include detaching neighboring nodes, shifting the endpoints of an edge, and reversing the estimated blood flow direction for a branch. We use a novel cost function to find the optimal set of HLO operations for a given graph. Finally, we show that our extracted vascular structure is correct by propagating artery/vein labels along the branches. As our experiments show, our topology-based artery-vein labeling achieved state-of-the-art results on three datasets: DRIVE, AV-WIDE, and INSPIRE. We also performed several ablation studies to separately verify the importance of the segmentation and AV labeling steps of our proposed method. These ablation studies further confirmed that our graph extraction pipeline correctly models the underlying vascular anatomy.

研究の動機と目的

• 2次元の投影における血管の交差に起因する課題を克服し、単一のフンダス画像から網膜血管トポロジーを完全自動で推定するシステムの開発。
• 深層学習モデルがピクセルレベルの特徴にのみ依存するのではなく、トポロジー構造を活用することで、動静脈分類の精度を向上させること。
• 複数の網膜疾患に適用可能な汎用的で解釈可能な血管特徴抽出パイプラインの構築。
• 最小限のハイパーパrameterチューニングで、多様なデータセットに対して本手法の頑健性と一般化性能を検証すること。
• 血管セグメンテーション、トポロジー推論、ラベル伝播を統合した一つのフレームワーク内で、エンドツーエンドで解釈可能な診断を可能にすること。

提案手法

• 本手法は、フンダス画像（$I$）から血管確率マップ（$\hat{I}_p$）とAV類似度マップ（$\hat{I}_{av}$）を生成する2つのU-Net CNNで開始する。
• マルチレベルのスケルトン化を適用して初期の血管網の結合グラフを抽出し、その後、不要な構成要素を除去するためのグラフ収縮処理を実施する。
• ダイクストラ法の最短経路アルゴリズムを用いて非有向トポロジー・グラフを抽出し、その後、血管の幾何学的特徴と色に基づくフローアサインメントアルゴリズムにより有向グラフに変換する。
• 新規のコスト関数が、ノード分離、エッジ端点のシフト、フロー反転といったハイレベル操作（HLOs）のシーケンスを制御し、トポロジー誤差を最小化する。
• AVの事前知識（$\hat{I}_{av}$）を有向グラフ（$g_d$）にマッピングし、推定された枝に沿ってラベル伝播ステップで動脈・静脈ラベルを割り当てる。
• コスト関数は、血管の尤度（$w_v$）、Lab空間における色の類似度（$w_c$）、太さに基づく重み（$w_w$）、および重複する血管パスを防ぐためのレプル要因（$\Gamma$）といった複数の要因を統合している。

実験結果

リサーチクエスチョン

• RQ1 血管の交差が生じる2次元のフンダス画像から、完全自動のグラフベース手法が網膜血管トポロジーを正確に再構築できるか。
• RQ2 ピクセルレベル特徴にのみ依存する深層学習モデルと比較して、トポロジー構造を統合することで、動静脈分類性能がどの程度向上するか。
• RQ3 本手法のトポロジー推定パイプラインは、画像品質や血管特性にばらつきのある異なるデータセットに対してもどの程度頑健であるか。
• RQ4 血管セグメンテーション、トポロジー補正、ラベル伝播の各コンポーネントが、最終的なAV分類精度に果たす寄与度は何か。
• RQ5 抽出されたグラフ表現は、血管の断絶や偽のoptic nerve head（ONH）といった臨床的意義のある特徴の検出を支援できるか。

主な発見

• 本手法は、DRIVE、AV-WIDE、INSPIREの3つのベンチマークデータセットにおいて、最先端の動静脈分類精度を達成した。
• 最小限のハイパーパrameter調整でINSPIREデータセットに対しても良好な一般化性能を示し、強い頑健性と移行性を示した。
• アブレーションスタディの結果、より良い血管セグメンテーションの事前知識が直接的にトポロジー精度の向上に寄与することを確認し、モデルの血管解剖への忠実性を裏付けた。
• セミ自動手法と比較して、より低い血管再現率であったが、本手法はトポロジーに配慮した処理により、セグメンテーション誤差を補償できた。
• グラフベースの表現は、潜在的な血管障害（例：断絶や閉塞）を効果的に同定でき、診断指標としての可能性を示した。
• 推定されたトポロジーに沿ったラベル伝播により、一貫性があり高精度なAV分類が得られたことから、抽出されたグラフ構造の有効性が示された。