[논문 리뷰] A Deep Retinal Image Quality Assessment Network with Salient Structure Priors

Ziwen Xu, Beiji Zou외 1명|arXiv (Cornell University)|2020. 12. 31.

Retinal Imaging and Analysis참고 문헌 28인용 수 5

한 줄 요약

이 논문은 이중 브랜치 또는 단일 브랜치 컨볼루션 신경망 아키텍처에 큰 크기의 눈물막/침착물 및 혈관과 같은 소규모 구조를 포함하는 심층 학습 프레임워크인 SalStructIQA를 제안한다. 진단적으로 관련된 구조로 특징 학습을 유도함으로써, 이 방법은 해석 가능성 향상과 경량 버전을 유지하면서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Retinal image quality assessment is an essential prerequisite for diagnosis of retinal diseases. Its goal is to identify retinal images in which anatomic structures and lesions attracting ophthalmologists' attention most are exhibited clearly and definitely while reject poor quality fundus images. Motivated by this, we mimic the way that ophthalmologists assess the quality of retinal images and propose a method termed SalStructuIQA. First, two salient structures for automated retinal quality assessment. One is the large-size salient structures including optic disc region and exudates in large-size. The other is the tiny-size salient structures which mainly include vessels. Then we incorporate the proposed two salient structure priors with deep convolutional neural network (CNN) to shift the focus of CNN to salient structures. Accordingly, we develop two CNN architectures: Dual-branch SalStructIQA and Single-branch SalStructIQA. Dual-branch SalStructIQA contains two CNN branches and one is guided by large-size salient structures while the other is guided by tiny-size salient structures. Single-branch SalStructIQA contains one CNN branch, which is guided by the concatenation of salient structures in both large-size and tiny-size. Experimental results on Eye-Quality dataset show that our proposed Dual-branch SalStructIQA outperforms the state-of-the-art methods for retinal image quality assessment and Single-branch SalStructIQA is much light-weight comparing with state-of-the-art deep retinal image quality assessment methods and still achieves competitive performances.

연구 동기 및 목표

• 수동으로 설계된 기능이나 충분히 구분력이 없는 표현에 의존하는 전통적인 망막 영상 품질 평가(IQA) 방법의 한계를 해결하기 위해.
• 망막 전문의의 임상적 접근 방식을 모방하기 위해 시력에 영향을 주는 주요 구조인 시신경두, 침착물 및 혈관에 집중하기 위해.
• 심층 학습 기반의 IQA 프레임워크를 개발하여 CNN 학습에 구조 인식 사전 지식을 통합함으로써 성능 향상을 이루기 위해.
• 모델 성능과 효율성의 균형을 맞추기 위해 정확도를 유지하면서도 복잡도를 줄인 경량 단일 브랜치 버전을 도입하기 위해.

제안 방법

• 이 방법은 두 가지의 주목할 만한 구조 사전 지식을 도입한다: 큰 크기의 구조(시신경두, 침착물)와 작은 크기의 구조(혈관)로, 분할 마스크를 통해 추출된다.
• 이중 브랜치 SalStructIQA는 각각 하나의 주목할 만한 구조 사전 지식에 의해 유도되는 두 개의 병렬 컨볼루션 신경망 브랜치를 사용하여 특징을 전문화된 방식으로 학습한다.
• 단일 브랜치 SalStructIQA는 입력 RGB 이미지와 함께 두 가지 주목할 만한 구조 마스크를 연결하여 단일 CNN 브랜치를 유도한다.
• 모델들은 RGB 입력에 대한 세 가지 클래스 분류 손실(Good, Usable, Reject)을 사용하여 Eye-Quality 데이터셋에서 엔드 투 엔드로 훈련된다.
• 클래스 활성화 맵은 기울기 가중 CAM을 사용하여 시각화되어, 모델이 임상적으로 관련된 영역에 집중하고 있음을 검증한다.
• 프레임워크는 사전 훈련된 DenseNet121과 ResNet50을 백본으로 활용하며, 아블레이션 연구를 통해 아키텍처 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 주목할 만한 해부학적 구조를 사전 지식으로 통합함으로써 심층 학습 기반 맹막 영상 품질 평가의 성능 향상이 가능할 수 있는가?
• RQ2 큰 크기와 작은 크기의 주목할 만한 구조에 대한 특징 학습을 분리하면 통합 학습보다 더 나은 성능을 낼 수 있는가?
• RQ3 주목할 만한 구조 사전 지식을 갖춘 경량 단일 브랜치 아키텍처가 복잡도를 줄이면서도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 제안된 모델의 주의 메커니즘이 품질 평가 시 인간 망막 전문의의 시각적 집중과 일치하는가?

주요 결과

• 이중 브랜치 SalStructIQA는 Eye-Quality 데이터셋에서 최신 기술 수준의 방법들을 능가하며 뛰어난 분류 정확도를 보여준다.
• 단일 브랜치 버전은 기존의 심층 학습 기반 IQA 모델들보다 훨씬 더 가볍으면서도 경쟁 가능한 성능을 달성한다.
• 기울기 가중 CAM을 통한 클래스 활성화 맵은 모델이 시신경두, 혈관 및 영상 왜곡 영역과 같은 진단적으로 관련된 영역에 집중하고 있음을 확인한다.
• DenseNet121-RGB에 의해 잘못 분류된 이미지를 이 방법이 정확하게 분류한다. 특히 과노출 또는 부분적 가림이 있는 어려운 케이스에서 성능이 뛰어나다.
• RGB 입력에 주목할 만한 구조 사전 지식을 결합함으로써 RGB 전용 모델보다 성능 향상이 이루어지며, 이는 구조적 인도적 편향의 가치를 시사한다.
• 이중 브랜치 아키텍처는 단일 브랜치 버전보다 더 뛰어난 성능을 보이며, 큰 크기와 작은 크기의 구조를 별도로 처리함으로써 특징의 구분 능력 향상이 가능하다는 것을 시사한다.