[논문 리뷰] Improving Robustness using Joint Attention Network For Detecting Retinal Degeneration From Optical Coherence Tomography Images

Sharif Amit Kamran, Alireza Tavakkoli외 1명|arXiv (Cornell University)|2020. 05. 16.

Retinal Imaging and Analysis참고 문헌 28인용 수 30

한 줄 요약

이 논문은 감마-주의-네트워크 아키텍처를 제안하여, 감마-주의-학습과 감독 분류를 조합함으로써 광학 간섭 단층촬영(OCT) 영상에서 망막 퇴행성 질환 탐지의 강건성을 향상시킨다. 분류와 재구성 간의 균형을 맞추기 위해 双-적응 손실를 통합함으로써 질병 특이적 공간 특징을 유지하며, 여러 최신 모델에서 미사용된 데이터셋에 대해 정확도와 일반화 능력이 크게 향상된다.

ABSTRACT

Noisy data and the similarity in the ocular appearances caused by different ophthalmic pathologies pose significant challenges for an automated expert system to accurately detect retinal diseases. In addition, the lack of knowledge transferability and the need for unreasonably large datasets limit clinical application of current machine learning systems. To increase robustness, a better understanding of how the retinal subspace deformations lead to various levels of disease severity needs to be utilized for prioritizing disease-specific model details. In this paper we propose the use of disease-specific feature representation as a novel architecture comprised of two joint networks -- one for supervised encoding of disease model and the other for producing attention maps in an unsupervised manner to retain disease specific spatial information. Our experimental results on publicly available datasets show the proposed joint-network significantly improves the accuracy and robustness of state-of-the-art retinal disease classification networks on unseen datasets.

연구 동기 및 목표

• 실세계의 OCT 영상에 적용되었을 때, 망막 질환 분류를 위한 딥러닝 모델의 낮은 강건성 문제를 해결하기 위해.
• 표준 CNN에서 특징 인코딩 과정에서 손실되는 질병 특이적 공간 특징을 유지함으로써 모델의 일반화 능력을 향상시키기 위해.
• 재학습 없이 다양한 OCT 영상 시스템 간에 이식 가능성을 확보하기 위해 비감독적 주의 맵 학습을 활용하기 위해.
• 기존 CNN 아키텍처를 보완하여 임상적 도입에 적합한 플러그-앤플레이 모듈을 개발하기 위해.

제안 방법

• 감독 인코더, 비감독 디코더, 감독 분류기로 구성된 공동 네트워크를 도입한다.
• 각 단계에서 인코더와 디코더 특징 간의 원소별 덧셈을 수행하기 위해 스킵 연결을 사용하여 공간 정보를 유지한다.
• 이중 적응 손실 함수를 사용한다: L = φ × Ls + (1−φ) × Lu, 여기서 Ls는 분류를 위한 교차 엔트로피 손실이고, Lu는 재구성에 대한 평균제곱오차 손실이다.
• 초기수치 φ는 학습 중에 조정되어 분류와 재구성 손실의 중요도를 균형 잡는다.
• 비감독 디코더는 지도 레이블이 필요 없이 주의 맵을 생성하므로 도메인 독립적 공간 특징 학습이 가능하다.
• 이 아키텍처는 ResNet50, MobileNet-v2, OpticNet-71와 같은 기존 CNN들과 함께 플러그인 모듈로 통합된다.

실험 결과

연구 질문

• RQ1 공동 감독 및 비감독 학습이 새로운 OCT 데이터셋에서 망막 질환 분류 모델의 강건성을 향상시킬 수 있는가?
• RQ2 비감독 오토인코더 구성 요소를 통해 공간 특징 표현을 유지함으로써 모델의 일반화 능력이 얼마나 향상되는가?
• RQ3 이중 적응 손실 메커니즘이 분류 정확도와 공간 특징 재구성 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 제안된 공동-주의 모듈이 다양한 OCT 영상 시스템과 질병 유형 간에 효과적으로 이식 가능한가?

주요 결과

• Srinivasan2014 데이터셋에서, 공동-주의-네트워크는 ResNet50-v1에 연결되었을 때 100%의 정확도, 특이도, 민감도를 기록하여 원래 모델 대비 모든 지표에서 5.08% 향상되었다.
• OCT2017 데이터셋에서의 테스트 결과, 공동-주의-네트워크는 정확도를 ResNet50-v1의 83.40%에서 92.40%로 향상시켜 상대적 개선률 9.0%를 기록했다.
• MobileNet-v2의 경우, OCT2017에서 정확도는 93.80%에서 95.60%로 상승했고, 특이도와 민감도는 각각 1.8% 향상되었다.
• 모든 테스트된 아키텍처에서 일관된 성능 향상이 관찰되어 강력한 이식 가능성과 강건성을 입증했다.
• 비감독 디코더는 레이블 없이도 효과적인 재구성을 달성하여 주의 맵 학습이 공간 정보를 유지하는 데 효과적임을 입증했다.
• 이중 적응 손실 메커니즘이 동적 기울기 업데이트를 가능하게 하였으며, 최적의 φ 값이 수렴과 성능 향상에 기여하는 것으로 확인되었다.