[論文レビュー] AGE Challenge: Angle Closure Glaucoma Evaluation in Anterior Segment Optical Coherence Tomography

Huazhu Fu, Fei Li+23 more|arXiv (Cornell University)|May 5, 2020

Glaucoma and retinal disorders参考文献 53被引用数 9

ひとこと要約

本論文は、199名の患者から得られた4,800枚のアノテート済み画像を含む大規模で公開可能なAS-OCTデータセット「AGE Challenge」を提示する。このデータセットは、角膜隔壁の局在化および隅口閉塞分類のためのAI手法のベンチマークを目的としている。チャレンジの結果、ディープラーニングモデルが非常に高い精度を達成した。分類タスクでは100%の正答率、角膜隔壁局在化では平均10 μmの誤差を示し、臨床現場における自動的グルーカウマス評価の強力な可能性を示した。

ABSTRACT

Angle closure glaucoma (ACG) is a more aggressive disease than open-angle glaucoma, where the abnormal anatomical structures of the anterior chamber angle (ACA) may cause an elevated intraocular pressure and gradually lead to glaucomatous optic neuropathy and eventually to visual impairment and blindness. Anterior Segment Optical Coherence Tomography (AS-OCT) imaging provides a fast and contactless way to discriminate angle closure from open angle. Although many medical image analysis algorithms have been developed for glaucoma diagnosis, only a few studies have focused on AS-OCT imaging. In particular, there is no public AS-OCT dataset available for evaluating the existing methods in a uniform way, which limits progress in the development of automated techniques for angle closure detection and assessment. To address this, we organized the Angle closure Glaucoma Evaluation challenge (AGE), held in conjunction with MICCAI 2019. The AGE challenge consisted of two tasks: scleral spur localization and angle closure classification. For this challenge, we released a large dataset of 4800 annotated AS-OCT images from 199 patients, and also proposed an evaluation framework to benchmark and compare different models. During the AGE challenge, over 200 teams registered online, and more than 1100 results were submitted for online evaluation. Finally, eight teams participated in the onsite challenge. In this paper, we summarize these eight onsite challenge methods and analyze their corresponding results for the two tasks. We further discuss limitations and future directions. In the AGE challenge, the top-performing approach had an average Euclidean Distance of 10 pixels (10um) in scleral spur localization, while in the task of angle closure classification, all the algorithms achieved satisfactory performances, with two best obtaining an accuracy rate of 100%.

研究の動機と目的

• 自動的隅口閉塞検出手法を評価するための標準化され、公開可能なAS-OCTデータセットの不足に対処すること。
• MICCAI 2019で開催されたチャレンジを通じて、ディープラーニングモデルの角膜隔壁局在化および隅口閉塞分類の2つの主要なタスクを評価すること。
• 前眼部OCT画像解析におけるAIモデルの比較・ベンチマーク化のための統一された評価フレームワークを確立すること。
• 非侵襲的画像撮影を用いた隅口閉塞緑内障の早期発見を目的とした信頼性の高い自動化ツールの開発を促進すること。
• グランドチャレンジーズのウェブサイトを通じて、データセットおよび評価プラットフォームを永続的に公開し、今後の研究を支援すること。

提案手法

• チャレンジは、199名の患者から得られた4,800枚のAS-OCT画像を含むデータセットを公開した。各画像には、角膜隔壁の位置と隅口閉塞状態がアノテートされていた。
• 評価フレームワークには2つのタスクが含まれていた。(1) ヒートマップ回帰を用いた角膜隔壁局在化、(2) 二値または多値ラベルを用いた隅口閉塞分類。
• 参加者はディープラーニングモデルを用い、大多数のチームが分類タスクにResNet、SE-Net、EfficientNet、またはRes2Netアーキテクチャを採用した。
• 角膜隔壁局在化では、トップパフォーマンスの手法がマルチスケールまたはROIベースの入力を用いたヒートマップ予測を採用したが、一部のチームはアンサンブル戦略を用いた。
• オンラインおよび現地評価を採用し、局在化にはユークリッド距離、分類には正答率などの指標を用いてスコアを算出した。
• データセットはCasia SS-1000 OCT装置を用いて収集されたため、他の画像診断システムへの一般化性に制限がある。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルはAS-OCT画像における角膜隔壁の自動局在化を高い精度で達成できるか？
• RQ2 AIモデルは、感度と特異度の両面で隅口閉塞と開放隅口を信頼性高く分類できるか？
• RQ3 異なるディープラーニングアーキテクチャおよびアンサンブル戦略は、角膜隔壁局在化および隅口閉塞分類のパフォーマンスにおいてどのように比較されるか？
• RQ4 粗いから細かい段階への特徴抽出またはマルチスケール特徴抽出の使用は、これらのタスクにおけるモデル性能をどの程度向上させるか？
• RQ5 現在のAIモデルは、チャレンジで提供された洗練されたデータセットとは異なり、より多様または複雑なACA形態を示す現実世界の臨床データに適用した場合、どのような限界を示すか？

主な発見

• 最良のパフォーマンスを示したモデルは、角膜隔壁局在化において平均10 μm（10ピクセル）のユークリッド距離を達成し、高い空間的精度を示した。
• すべての分類アルゴリズムがほぼ完璧な性能を示し、上位2つのモデルは隅口閉塞と開放隅口を区別するタスクで100%の正答率を達成した。
• アンサンブル手法は角膜隔壁局在化において単一モデルを顕著に上回ることはなかった。これは、小規模なROIベースの特徴が1ピクセル予測には十分であることを示唆している。
• Res2Net や EfficientNet などの高度なアーキテクチャに基づくモデルはパフォーマンスが向上したが、訓練データが限られているため過学習の懸念が残った。
• チャレンジの結果、現在のモデルは提供されたデータセットでは良好に一般化されるが、現実世界の多様なまたは複雑なACA形態に対しては課題に直面する可能性があることが明らかになった。
• 現在のデータセットは1台のOCT装置（Casia SS-1000）からの画像に限定されており、他の画像プラットフォームへのモデルの移植性に影響を及ぼす可能性がある。