[논문 리뷰] Robust Collaborative Learning of Patch-level and Image-level Annotations for Diabetic Retinopathy Grading from Fundus Image

Yehui Yang, Fangxin Shang외 6명|arXiv (Cornell University)|2020. 08. 03.

Retinal Imaging and Analysis참고 문헌 49인용 수 4

한 줄 요약

이 논문은 당뇨성 망막병증 등급 분류를 위한 강건한 엔드 투 엔드 프레임워크인 CLPI를 제안한다. 이 프레임워크는 영역 수준의 병변 주석과 영상 수준의 DR 중증도 등급을 공동으로 학습한다. 희소한 영역 수준의 주석으로 훈련된 병변 주의 생성기와 영상 수준의 등급 감독을 통해 주의 맵을 정밀하게 조정함으로써, 레이블 부족과 데이터 분포 변화에 대해 뛰어난 성능과 강건성을 확보하며, 최신 기술(SOTA) 알고리즘과 숙련된 망막 전문의를 초월한다.

ABSTRACT

Diabetic retinopathy (DR) grading from fundus images has attracted increasing interest in both academic and industrial communities. Most convolutional neural network (CNN) based algorithms treat DR grading as a classification task via image-level annotations. However, these algorithms have not fully explored the valuable information in the DR-related lesions. In this paper, we present a robust framework, which collaboratively utilizes patch-level and image-level annotations, for DR severity grading. By an end-to-end optimization, this framework can bi-directionally exchange the fine-grained lesion and image-level grade information. As a result, it exploits more discriminative features for DR grading. The proposed framework shows better performance than the recent state-of-the-art algorithms and three clinical ophthalmologists with over nine years of experience. By testing on datasets of different distributions (such as label and camera), we prove that our algorithm is robust when facing image quality and distribution variations that commonly exist in real-world practice. We inspect the proposed framework through extensive ablation studies to indicate the effectiveness and necessity of each motivation. The code and some valuable annotations are now publicly available.

연구 동기 및 목표

• 기존의 CNN 기반 DR 등급 분류 방법은 임상적으로 중요한 미세한 병변 정보를 忽시한다는 한계를 해결하기 위해.
• 영역 수준의 병변 주석과 영상 수준의 중증도 등급을 엔드 투 엔드 방식으로 통합하는 공동 학습 프레임워크를 개발하기 위해.
• 실제 편도 영상에서 흔한 누락 주석과 분포 변화에 대한 모델의 강건성을 향상시키기 위해.
• 비용이 많이 드는 픽셀 수준의 주석 대신 더 실현 가능하게 수집할 수 있는 영역 수준의 주석만을 사용하여, 고비용 주석 의존도를 줄이기 위해.
• 다양한 데이터셋에 걸쳐 일반화 능력을 유지하면서도 숙련된 망막 전문의 수준의 성능을 달성하기 위해.

제안 방법

• 작은 영역 수준의 주석 집합으로 훈련된 병변 주의 생성기는 병변 국소화를 위한 공간적 주의 맵을 생성한다.
• 16×16 확률 매트릭스를 복제 및 타일링을 통해 512×512 주의 맵으로 확장함으로써 공간적 구조를 유지한다.
• 등급 예측 모듈은 입력 영상과 병변 주의 맵을 모두 사용하여 DR 중증도를 예측하며, 이로써 공동 최적화가 가능해진다.
• 영상 수준의 등급 감독 신호를 통해 역전파함으로써 병변 주의 생성기가 정밀하게 조정되며, 이는 双방향 지식 전이를 가능하게 한다.
• 병변 주의 생성기는 영역 패치에서 미리 훈련되어 있으며, 단일 순방향 전파로 전체 영상에서 병변을 탐지할 수 있다.
• 프레임워크는 엔드 투 엔드로 훈련되어 병변 탐지와 DR 등급 분류의 공동 최적화가 가능하며, 별도의 이중 단계 훈련이 필요하지 않다.

실험 결과

연구 질문

• RQ1 병변 수준의 주석과 영상 수준의 등급 주석을 공동으로 사용하는 공동 학습 프레임워크가 DR 등급 분류 성능 향상에 기여하는가?
• RQ2 의료 영상에서 흔한 레이블 부족과 누락 주석 상황에서 제안된 방법의 성능는 어떠한가?
• RQ3 병변 주의와 영상 등급 분류의 엔드 투 엔드 최적화가 다양한 데이터 분포에 걸쳐 더 나은 일반화를 이끌어내는가?
• RQ4 희소한 영역 수준의 주석으로 훈련된 병변 주의 생성기가 최신 기술(SOTA) 탐지기와 유사한 성능을 달성할 수 있는가?
• RQ5 실제 임상 환경에서 흔한 영상 품질 변동성과 카메라 유형의 다양성에 대해 제안된 프레임워크는 강건한가?

주요 결과

• CLPI 프레임워크는 DR 등급 분류에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, 최근의 SOTA 알고리즘을 뛰어나고, 9년 이상의 임상 경력을 가진 세 명의 숙련된 망막 전문의와 유사한 정확도를 확보하였다.
• 이 방법은 누락된 병변 주석에 대해 강건함을 입증하였다: 병변 레이블의 50%가 제거된 상황에서도, Faster-RCNN 및 YOLO-V3와 같은 SOTA 탐지기보다 성능 저하가 훨씬 적었다.
• 희소 주석 조건에서도 병변 주의 생성기는 높은 성능를 유지한다. 이는 No-DR 영상에서 부정적 패치를 수집하여 레이블 부족 문제를 완화할 수 있기 때문이다.
• 절단 실험 결과 병변 주의 메커니즘과 엔드 투 엔드 공동 학습이 최적 성능 달성에 필수적임을 확인하였다.
• 다양한 레이블 분포와 카메라 유형을 가진 데이터셋 간에도 잘 일반화되어, 실제 현장 적용 상황에서의 강건성을 입증하였다.
• 비용이 많이 드는 픽셀 수준 마스크 대신 영역 수준의 주석만으로도 충분하여, 임상 현장 적용에 더 실용적이다.