[논문 리뷰] HQG-Net: Unpaired Medical Image Enhancement with High-Quality Guidance

Chunming He, Kai Li외 6명|arXiv (Cornell University)|2023. 07. 15.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 변동성 정규화 모듈을 통해 쌍방향이 아닌 고화질(HQ) 이미지의 특징을 명시적으로 활용하여 저화질(LQ) 이미지 증강을 유도하는 새로운 비쌍방향 의료 영상 향상 방법인 HQG-Net을 제안한다. LQ 및 HQ 도메인 간의 공동 분포를 모델링하고 웨이블릿 기반 및 다중 인코더 제약 조건을 갖춘 콘텐츠 인식 손실을 적용하여, 시각적 품질과 후속 작업 성능 모두에서 최신 기술을 능가하는 성능을 달성하였으며, 두 개의 신규로 수집된 데이터셋을 포함한 세 개의 의료 데이터셋에서 검증되었다.

ABSTRACT

Unpaired Medical Image Enhancement (UMIE) aims to transform a low-quality (LQ) medical image into a high-quality (HQ) one without relying on paired images for training. While most existing approaches are based on Pix2Pix/CycleGAN and are effective to some extent, they fail to explicitly use HQ information to guide the enhancement process, which can lead to undesired artifacts and structural distortions. In this paper, we propose a novel UMIE approach that avoids the above limitation of existing methods by directly encoding HQ cues into the LQ enhancement process in a variational fashion and thus model the UMIE task under the joint distribution between the LQ and HQ domains. Specifically, we extract features from an HQ image and explicitly insert the features, which are expected to encode HQ cues, into the enhancement network to guide the LQ enhancement with the variational normalization module. We train the enhancement network adversarially with a discriminator to ensure the generated HQ image falls into the HQ domain. We further propose a content-aware loss to guide the enhancement process with wavelet-based pixel-level and multi-encoder-based feature-level constraints. Additionally, as a key motivation for performing image enhancement is to make the enhanced images serve better for downstream tasks, we propose a bi-level learning scheme to optimize the UMIE task and downstream tasks cooperatively, helping generate HQ images both visually appealing and favorable for downstream tasks. Experiments on three medical datasets, including two newly collected datasets, verify that the proposed method outperforms existing techniques in terms of both enhancement quality and downstream task performance. We will make the code and the newly collected datasets publicly available for community study.

연구 동기 및 목표

• 기존의 비쌍방향 의료 영상 향상(UMIE) 방법들이 저화질(LQ) 영상 향상 과정에서 고화질(HQ) 이미지 정보를 명시적으로 활용하지 못하는 한계를 해결하기 위해.
• 저화질(LQ) 및 고화질(HQ) 영상 도메인 간의 공동 분포를 모델링하여 보다 강력하고 잡음이 없는 향상 성능을 달성하기 위해.
• 시각적 품질뿐 아니라 분할 및 질병 분류와 같은 후속 임상 작업의 성능 향상도 동시에 향상시키기 위해.
• 영상 향상과 후속 작업 성능을 동시에 최적화하는 이중 수준 최적화 프레임워크를 개발하기 위해.
• 연구 공동체의 후속 연구를 위해 코드와 두 개의 신규로 수집된 의료 데이터셋을 공개하기 위해.

제안 방법

• HQG-Net은 쌍방향이 아닌 고화질(HQ) 이미지에서 추출한 특징 벡터를 저화질(LQ) 향상 생성기로 주입하는 변동성 정규화 모듈을 도입하여 명시적인 가이던스를 제공한다.
• 생성기는 고화질(HQ) 도메인 분포 내에 들어가도록 보장하기 위해 판별기와 함께 적대적으로 학습된다.
• 웨이블릿 기반 픽셀 수준 일致성과 다중 인코더 기반 특징 수준 제약 조건을 융합한 콘텐츠 인식 손실이 제안되어 구조적 및 질감 세부 정보를 유지한다.
• 영상 향상 작업과 후속 작업(예: 분할 및 분류)을 동시에 최적화하는 이중 수준 최적화 전략이 설계되어, 향상 결과가 임상 활용성과 일치하도록 한다.
• 쌍방향 학습 데이터가 필요 없이 쌍방향이 아닌 데이터를 활용하며, 적대적 손실과 인지적 손실을 함께 사용해 종단 간(end-to-end)으로 학습된다.
• 모델은 각각 각각의 코르네아 공초점 현미경(Corneral Confocal Microscopy, CCM), 내시경, 망막 영상과 같은 세 가지 의료 영상 모odalities에서 평가되었으며, 아블레이션 연구를 통해 구성 요소의 효과성을 확인하였다.

실험 결과

연구 질문

• RQ1 쌍방향이 아닌 고화질(HQ) 이미지에서의 명시적 가이던스가 저화질(LQ) 의료 영상 향상의 정확성과 구조적 정확도를 향상시키는가?
• RQ2 저화질(LQ) 및 고화질(HQ) 도메인 간의 공동 분포를 모델링하면, 단지 LQ 도메인에 의존하는 방법보다 더 나은 향상 품질을 달성하는가?
• RQ3 웨이블릿 기반 및 다중 인코더 기반 제약 조건을 갖춘 콘텐츠 인식 손실이 향상된 의료 영상에서 질감과 구조적 세부 정보를 효과적으로 유지하는가?
• RQ4 영상 향상 네트워크를 후속 작업과 함께 공학하는 이중 수준 최적화가 임상 의사결정에 더 적합한 영상을 생성하는가?
• RQ5 최신 기술 대비 HQG-Net은 분할 및 질병 분류와 같은 후속 작업 성능을 얼마나 향상시키는가?

주요 결과

• HQG-Net은 두 개의 신규로 수집된 데이터셋을 포함한 세 개의 의료 데이터셋에서 최신 기술 대비 시각적 향상 품질과 후속 작업 성능 모두에서 뛰어난 성능을 보였다.
• CORN-3 데이터셋에서 이중 수준 최적화 전략은 신경 섬유 비틀림 분류 정확도를 2.3% 향상시키고 F1 스코어를 3.2% 향상시켜 임상 활용성 향상을 입증하였다.
• DiaRet 데이터셋에서 질병 진단 작업에서 HQG-Net은 원본 저화질(LQ) 영상 대비 진단 정확도를 11.8% 향상시키고, 민감도를 3.4%, F1 스코어를 9.2%, 정밀도를 14.8% 향상시켰다.
• 임상의 재분류 작업 결과, HQG-Net과 HQG-Net+는 모두 저화질(LQ) 영상을 임상적으로 수용 가능한 품질로 향상시켰으며, 향상된 고화질(HQ) 영상 중 하나도 저화질(LQ)로 잘못 분류된 사례가 없었다.
• 아블레이션 연구를 통해 콘텐츠 인식 손실과 이중 수준 최적화가 성능 향상에 크게 기여하며, 특히 미세한 구조 유지와 후속 작업 정확도 향상에 기여함을 확인하였다.
• 모든 평가된 데이터셋에서 PSNR, SSIM, FID 등의 다수 지표에서 최신 기술 수준의 성능을 달성하여, 본 방법의 강건성과 일반화 능력이 검증되었다.