[논문 리뷰] Hypernetwork-based Personalized Federated Learning for Multi-Institutional CT Imaging

Ziyuan Yang, Wenjun Xia외 4명|arXiv (Cornell University)|2022. 06. 08.

Medical Imaging Techniques and Applications참고 문헌 48인용 수 11

한 줄 요약

이 논문은 다중 기관의 CT 영상 복원을 위한 하이퍼넷워크 기반 개인화된 페더레이티드 러닝 프레임워크인 HyperFed을 제안한다. 이는 글로벌 특징 학습과 기관별 데이터 적응을 분리함으로써, 데이터 프라이버시를 유지하면서도 비정규 분포 데이터 문제를 효과적으로 완화한다. 기관별 하이퍼넷워크를 사용해 글로벌 공유 영상 네트워크의 조정 하이퍼파라미터를 생성함으로써, HyperFed는 최신 기술 수준의 복원 품질을 달성한다.

ABSTRACT

Computed tomography (CT) is of great importance in clinical practice due to its powerful ability to provide patients' anatomical information without any invasive inspection, but its potential radiation risk is raising people's concerns. Deep learning-based methods are considered promising in CT reconstruction, but these network models are usually trained with the measured data obtained from specific scanning protocol and need to centralizedly collect large amounts of data, which will lead to serious data domain shift, and privacy concerns. To relieve these problems, in this paper, we propose a hypernetwork-based federated learning method for personalized CT imaging, dubbed as HyperFed. The basic assumption of HyperFed is that the optimization problem for each institution can be divided into two parts: the local data adaption problem and the global CT imaging problem, which are implemented by an institution-specific hypernetwork and a global-sharing imaging network, respectively. The purpose of global-sharing imaging network is to learn stable and effective common features from different institutions. The institution-specific hypernetwork is carefully designed to obtain hyperparameters to condition the global-sharing imaging network for personalized local CT reconstruction. Experiments show that HyperFed achieves competitive performance in CT reconstruction compared with several other state-of-the-art methods. It is believed as a promising direction to improve CT imaging quality and achieve personalized demands of different institutions or scanners without privacy data sharing. The codes will be released at https://github.com/Zi-YuanYang/HyperFed.

연구 동기 및 목표

• 중앙 집중식 데이터 수집을 피함으로써 다중 기관의 CT 영상에서 발생하는 프라이버시 문제와 데이터 공유 제약 조건을 해결하기 위해.
• 기관 간 스캐너 및 프로토콜의 다양성으로 인해 발생하는 CT 영상에서 내재된 비독립 동일분포(non-i.i.i.d.) 문제를 해결하기 위해.
• 각 기관의 고해상도 영상 품질을 유지하면서도 글로벌 모델의 안정성을 훼손하지 않는 개인화된 CT 복원을 가능하게 하기 위해.
• 개인화를 하이퍼넷워크를 통해 통합하면서도 데이터 프라이버시를 유지하는 페더레이티드 러닝 프레임워크를 개발하기 위해.
• 제안된 방법이 중앙 집중식 및 표준 페더레이티드 러닝 기반 방법보다 복원 품질과 내구성 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 최적화 과정을 두 부분으로 분해한다: 보편적 특징을 학습하기 위한 글로벌 공유 영상 네트워크와 개인화를 위한 기관별 하이퍼넷워크.
• 기관별 하이퍼넷워크는 스캔 파라미터를 입력으로 받아, 각 기관의 고유한 데이터 분포에 맞게 글로벌 영상 네트워크를 조정하기 위한 하이퍼파라미터를 생성한다.
• 글로벌 영상 네트워크는 모든 기관의 기울기 정보를 사용해 페더레이티드 어워징을 통해 훈련되며, 이로 인해 모델 안정성과 일반화 능력이 확보된다.
• 하이퍼넷워크는 각 기관에서 로컬로 훈련되며 글로벌 집계에 참여하지 않아 프라이버시를 유지하고 도메인 특화 적응이 가능하다.
• 이중 단계 훈련 과정을 적용한다: 첫 번째 단계에서는 글로벌 영상 네트워크를 대규모 데이터셋에서 사전 훈련하고, 두 번째 단계에서는 로컬 데이터를 사용해 각 기관별로 하이퍼넷워크를 미세조정한다.
• 이 방법은 영상 복원을 위한 백본 네트워크로 RED-CNN을 활용하고, 성능 평가에는 PSNR 및 SSIM 지표를 사용한다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크 기반 페더레이티드 러닝 프레임워크는 다중 기관의 CT 영상 복원에서 개인화와 모델 안정성을 효과적으로 균형 있게 유지할 수 있는가?
• RQ2 제안된 HyperFed 방법은 중앙 집중식 및 표준 페더레이티드 러닝 기반 방법과 비교해 영상 품질과 내구성 면에서 어떻게 성능을 발휘하는가?
• RQ3 로컬 데이터가 제한된 상황에서 기관별 하이퍼넷워크는 복원 품질 향상에 어느 정도 기여하는가?
• RQ4 글로벌 특징 학습과 로컬 적응의 분리가 CT 영상에서 비독립 동일분포 문제의 영향을 줄이는 데 기여하는가?
• RQ5 다양한 스캔 프로토콜과 데이터 크기를 가진 기관들 간에도 이 프레임워크는 높은 성능을 유지할 수 있는가?

주요 결과

• 대규모 훈련 세트에서 HyperFed는 모든 기관에서 평균 PSNR 38.44와 SSIM 0.9520을 기록했으며, FedAvg(36.99 PSNR), FedProx(37.30 PSNR), 비-FL 기반 방법(37.71 PSNR)을 모두 앞서며 우수한 성능을 보였다.
• 기관별 평가 결과, HyperFed는 각각 제1기관(PSNR 39.17), 제2기관(PSNR 39.07), 제5기관(PSNR 39.41)에서 뛰어난 성능을 기록했으며, 다른 방법들보다 일관되게 뛰어났다.
• 작은 로컬 데이터셋 조건에서도 HyperFed는 경쟁 가능한 성능을 유지했고, 비-FL 기반 방법은 제한된 데이터로 인해 세부 정보를 손실하는 경향을 보였다.
• FedAvg 및 FedProx와 같은 FL 기반 방법들은 더 큰 데이터셋에서 안정성과 성능이 향상되었지만, 여전히 최적의 로컬 복원 품질을 달성하지 못했다.
• 박스플롯 및 프로파일 분석을 통해 HyperFed는 모든 기관에서 일관되고 뛰어난 성능을 유지함을 확인했으며, 강력한 내구성과 개인화 능력을 입증했다.
• 제안된 방법은 원시 데이터나 하이퍼넷워크의 기울기 정보를 공유하지 않으면서도, CT 영상에서의 비독립 동일분포 문제를 효과적으로 완화함을 입증했다.