[論文レビュー] A Deep Retinal Image Quality Assessment Network with Salient Structure Priors

Ziwen Xu, Beiji Zou+1 more|arXiv (Cornell University)|Dec 31, 2020

Retinal Imaging and Analysis参考文献 28被引用数 5

ひとこと要約

本稿では、大規模および微小スケールの顕著な構造PRIOR（視神経乳頭・滲出物・血管）を二重ブランチまたは単一ブランチのCNNアーキテクチャに統合する深層学習フレームワーク、SalStructIQAを提案する。診断的に関連する構造に特化した特徴学習を促進することで、最先端の性能を達成するとともに、解釈性の向上と競争力のある精度を維持する軽量バージョンを実現した。

ABSTRACT

Retinal image quality assessment is an essential prerequisite for diagnosis of retinal diseases. Its goal is to identify retinal images in which anatomic structures and lesions attracting ophthalmologists' attention most are exhibited clearly and definitely while reject poor quality fundus images. Motivated by this, we mimic the way that ophthalmologists assess the quality of retinal images and propose a method termed SalStructuIQA. First, two salient structures for automated retinal quality assessment. One is the large-size salient structures including optic disc region and exudates in large-size. The other is the tiny-size salient structures which mainly include vessels. Then we incorporate the proposed two salient structure priors with deep convolutional neural network (CNN) to shift the focus of CNN to salient structures. Accordingly, we develop two CNN architectures: Dual-branch SalStructIQA and Single-branch SalStructIQA. Dual-branch SalStructIQA contains two CNN branches and one is guided by large-size salient structures while the other is guided by tiny-size salient structures. Single-branch SalStructIQA contains one CNN branch, which is guided by the concatenation of salient structures in both large-size and tiny-size. Experimental results on Eye-Quality dataset show that our proposed Dual-branch SalStructIQA outperforms the state-of-the-art methods for retinal image quality assessment and Single-branch SalStructIQA is much light-weight comparing with state-of-the-art deep retinal image quality assessment methods and still achieves competitive performances.

研究の動機と目的

• 手作業で設計された特徴量や十分に判別力のない表現に依存する従来の網膜画像品質評価（IQA）手法の限界を解消すること。
• 眼科医の臨床的アプローチを模倣し、視神経乳頭、滲出物、血管といった診断的に顕著な構造に注目すること。
• CNN学習に構造に敏感なPRIORを統合することで、深層学習ベースのIQAフレームワークの性能を向上させること。
• モデルの性能と効率のバランスを図るために、精度を損なわずに複雑さを軽減した軽量単一ブランチバージョンを導入すること。

提案手法

• 本手法は、大規模構造（視神経乳頭、滲出物）と微小構造（血管）の2種類の顕著な構造PRIORを導入し、セグメンテーションマスクを用いて抽出する。
• 二重ブランチSalStructIQAは、それぞれが1種類の顕著な構造PRIORに従って特徴を学習する2つの並列CNNブランチを用いる。
• 単一ブランチSalStructIQAは、入力RGB画像に両方の顕著な構造マスクを連結して、1つのCNNブランチをガイドする。
• モデルは、3クラス分類損失（良、使用可能、却下）を用いてEye-Qualityデータセット上でエンドツーエンドで訓練される。
• クラスアクティベーションマップは勾配上重みCAMを用いて可視化され、モデルが臨床的に関連する領域に注目していることを検証する。
• フレームワークは、アブレーションスタディにより、アーキテクチャ間の性能を比較するため、事前学習済みDenseNet121およびResNet50をバックボーンとして活用する。

実験結果

リサーチクエスチョン

• RQ1 顕著な解剖学的構造をPRIORとして統合することで、深層学習ベースの網膜画像品質評価の性能向上が図れるか？
• RQ2 大規模および微小スケールの顕著な構造の特徴学習を分離することで、統合学習に比べて性能が向上するか？
• RQ3 顕著な構造PRIORを有する軽量単一ブランチアーキテクチャは、モデルの複雑さを軽減しながらも競争力のある性能を達成できるか？
• RQ4 提案手法の注目メカニズムは、眼科医の品質評価時の視覚的注目領域と一致するか？

主な発見

• 二重ブランチSalStructIQAは、Eye-Qualityデータセットにおいて最先端の手法を上回り、優れた分類精度を示した。
• 単一ブランチバージョンは、既存の深層学習ベースIQAモデルと比較して顕著に軽量でありながら、競争力ある性能を達成した。
• 勾配上重みCAMにより、モデルが視神経乳頭、血管、画像歪み領域といった診断的に関連する領域に注目していることが確認された。
• DenseNet121-RGBが誤分類する画像を、本手法は正しく分類でき、過露出や部分的遮蔽といった困難なケースでも有効であった。
• RGB入力に顕著な構造PRIORを組み合わせることで、RGBのみのモデルに比べて性能が向上した。これは、構造的インダクティブバイアスの価値を示している。
• 二重ブランチアーキテクチャは単一ブランチバージョンよりも優れた性能を示しており、大規模および微小スケール構造の別々の処理が特徴の判別能を向上させることを示唆している。