[논문 리뷰] A Generic Fundus Image Enhancement Network Boosted by Frequency Self-supervised Representation Learning

Heng Li, Haofeng Liu외 6명|PubMed|2023. 09. 02.

Retinal Imaging and Analysis참고 문헌 44인용 수 9

한 줄 요약

GFE-Net은 감독 데이터 없이 주파수 기반 자기지도학습에서 구조 인식 표현을 학습하고 이를 이미지 향상과 원활하게 연결하여 악화된 망막 사진을 개선합니다. 데이터셋 전반에서 강건하고 일반화 가능한 결과를 달성하며 배포 효율성도 향상됩니다.

ABSTRACT

Fundus photography is prone to suffer from image quality degradation that impacts clinical examination performed by ophthalmologists or intelligent systems. Though enhancement algorithms have been developed to promote fundus observation on degraded images, high data demands and limited applicability hinder their clinical deployment. To circumvent this bottleneck, a generic fundus image enhancement network (GFE-Net) is developed in this study to robustly correct unknown fundus images without supervised or extra data. Levering image frequency information, self-supervised representation learning is conducted to learn robust structure-aware representations from degraded images. Then with a seamless architecture that couples representation learning and image enhancement, GFE-Net can accurately correct fundus images and meanwhile preserve retinal structures. Comprehensive experiments are implemented to demonstrate the effectiveness and advantages of GFE-Net. Compared with state-of-the-art algorithms, GFE-Net achieves superior performance in data dependency, enhancement performance, deployment efficiency, and scale generalizability. Follow-up fundus image analysis is also facilitated by GFE-Net, whose modules are respectively verified to be effective for image enhancement.

연구 동기 및 목표

• 감독 학습 또는 테스트 데이터 접근 없이 미지의 열화된 망막 사진을 향상시키는 문제를 다룬다.
• 주파수 정보를 사용하여 열화된 이미지에서 강건하고 구조를 보존하는 표현을 학습한다.
• 적대적 학습을 피하기 위해 표현 학습과 이미지 향상을 매끄러운 아키텍처로 결합한다.
• 여러 데이터셋에 걸친 데이터 효율성, 일반화 가능성 및 배포 실용성을 입증한다.

제안 방법

• 열화된 망막 뷰에서 구조 인식 표현을 학습하기 위해 주파수 자기지도 표현 학습(SSRL)을 도입한다.
• 추가 주석 없이 SSRL을 학습하기 위해 선명한 망막 이미지로부터 열화된 뷰를 합성한다.
• 망막 구조를 보존하기 위해 SSRL의 전제 조건으로 고주파 맵(HFM) 재구성을 사용한다.
• 표현 학습(D_R)과 이미지 향상(D_E)을 위한 두 디코더와 공유 인코더를 연결한다.
• 대립적 학습 없이 엔드-투-엔드로 학습하기 위해 합성 손실 L_total = L_R + L_E + L_cyc로 최적화한다.
• 수렴과 안정성을 보장하기 위해 U-Net 유사 아키텍처와 명시적 목적 함수를 활용한다.

실험 결과

연구 질문

• RQ1 감독 학습 없이도 합성 데이터만으로 미지의 열화된 망막 이미지를 보정하는 일반 망막 이미지 향상 모델이 가능할까?
• RQ2 주파수 기반 자기지도 학습은 전통적 지도 학습 또는 대립적 접근법보다 망막 구조를 더 잘 보존하는가?
• RQ3 SSRL과 향상을 통합하는 것이 데이터 의존성, 배포 효율성 및 규모 일반화에 어떤 영향을 미치는가?
• RQ4 영상 간섭 및 백내장으로 열화된 데이터셋에서 GFE-Net의 성능은 어떤가?

주요 결과

• GFE-Net은 최첨단 기준선에 비해 데이터 의존성을 줄이면서 우수한 향상 성능을 달성한다.
• 주파수 자기지도 학습 구성요소가 향상 도중 망막 구조를 보존한다.
• 학습 수렴은 효율적이며 대립적 학습의 함정을 피하며 배포 비용도 경쟁력 있다.
• GFE-Net은 영상 간섭 및 백내장 등 서로 다른 열화 유형의 데이터셋에서 강한 일반화 능력을 보인다.
• 합성 데이터로 학습된 모델이 테스트 데이터 접근이나 추가 조정 없이 다수의 데이터셋에 적용될 수 있다.