[논문 리뷰] SeeingGAN: Galactic image deblurring with deep learning for better morphological classification of galaxies

Fang Kai Gan, Kenji Bekki외 1명|arXiv (Cornell University)|2021. 03. 17.

Image Processing Techniques and Applications참고 문헌 2인용 수 4

한 줄 요약

이 논문은 지상 천체망원경에서 촬영한 은하 이미지를 복원하여 허블 우주 망원경(HST) 수준의 선명도를 달성하는 딥러닝 기반 생성적 적대적 네트워크(GAN)인 SeeingGAN을 소개한다. 쌍체의 수빅스-허블 우주 망원경(HST) 이미지로 훈련함으로써 SeeingGAN은 미세한 구조(예: 나선다리, 막대 등)의 가시성을 향상시켜 원래의 흐린 이미지 대비 18% 향상된 CW-SSIM 성능을 달성하며, 물리적 망원경 업그레이드 없이도 형태 분류 정확도를 크게 향상시킨다.

ABSTRACT

Classification of galactic morphologies is a crucial task in galactic astronomy, and identifying fine structures of galaxies (e.g., spiral arms, bars, and clumps) is an essential ingredient in such a classification task. However, seeing effects can cause images we obtain to appear blurry, making it difficult for astronomers to derive galaxies' physical properties and, in particular, distant galaxies. Here, we present a method that converts blurred images obtained by the ground-based Subaru Telescope into quasi Hubble Space Telescope (HST) images via machine learning. Using an existing deep learning method called generative adversarial networks (GANs), we can eliminate seeing effects, effectively resulting in an image similar to an image taken by the HST. Using multiple Subaru telescope image and HST telescope image pairs, we demonstrate that our model can augment fine structures present in the blurred images in aid for better and more precise galactic classification. Using our first of its kind machine learning-based deblurring technique on space images, we can obtain up to 18% improvement in terms of CW-SSIM (Complex Wavelet Structural Similarity Index) score when comparing the Subaru-HST pair versus SeeingGAN-HST pair. With this model, we can generate HST-like images from relatively less capable telescopes, making space exploration more accessible to the broader astronomy community. Furthermore, this model can be used not only in professional morphological classification studies of galaxies but in all citizen science for galaxy classifications.

연구 동기 및 목표

• 대기 시야로 인해 지상 기반 은하 이미지가 흐릿해지는 문제를 해결하여 형태 분류에 핵심적인 미세 구조를 드러내는 것.
• 물리적 망원경 수정 없이도 수빅스 망원경의 흐린 이미지를 허블 우주 망원경(HST) 수준의 복원된 이미지로 변환하는 딥러닝 기반 방법을 개발하는 것.
• 이미지 선명도 향상으로 자동화된 분류 및 시민 과학 프로젝트의 정확성과 신뢰도를 높이는 것.
• GAN 기반의 이미지 변환 기법이 천체 사진에서 시야 흐림 현상을 효과적으로 완화할 수 있음을 보여주는 것.
• 전문가 및 일반 대중의 천체 관측 프로젝트에 더 넓은 접근성을 제공하기 위해 고품질 은하 이미지를 확보하는 것.

제안 방법

• 수빅스 망원경(흐린 이미지)과 허블 우주 망원경(HST, 선명한 이미지)의 쌍체 이미지를 기반으로 훈련된 조건부 생성적 적대적 네트워크(cGAN)를 사용한다.
• 생성자 네트워크는 시각적 손실과 적대적 손실을 최소화하여 흐린 은하 이미지를 HST 수준의 복원된 이미지로 매핑하는 데 학습한다.
• 판별자 네트워크는 실제 HST 이미지와 생성된 복원 이미지를 구별함으로써 사진적 사실성에 기여한다.
• 픽셀 수준의 L1 손실, 시각적 손실, 적대적 손실을 조합하여 훈련함으로써 구조적 및 질감적 세부 정보를 유지한다.
• 훈련 데이터는 정렬된 수빅스-HST 이미지 쌍으로 구성되며, 데이터 정규화 및 증강을 위한 전처리가 수행된다.
• 추론 단계에서는 훈련된 생성자 모델을 사용해 새로운 수빅스 이미지를 신속하고 효율적으로 복원 출력한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 지상 기반 망원경에서 촬영한 은하 이미지를 허블 우주 망원경(HST) 수준의 선명도로 효과적으로 복원할 수 있는가?
• RQ2 복원된 이미지가 나선다리, 막대, 덩어리 등 미세한 은하 구조를 얼마나 향상시킬 수 있는가?
• RQ3 구조적 유사도 지표를 사용해 복원된 이미지의 성능을 원래의 흐린 이미지와 정량적으로 비교할 수 있는가?
• RQ4 충분한 쌍체 이미지 데이터가 확보된다면 이 방법을 빅터리티(VLT)나 키크(Keck)와 같은 다른 지상 기반 망원경에 일반화할 수 있는가?
• RQ5 복원된 이미지가 자동화된 분류 및 시민 과학 은하 분류의 정확도를 향상시킬 수 있는가?

주요 결과

• SeeingGAN는 원래의 수빅스 이미지 대비 HST 기준 참조 이미지와 비교할 때, 착색 웨이블릿 구조적 유사도 지수(CW-SSIM)에서 18% 향상된 성능을 달성한다.
• SeeingGAN가 생성한 복원된 이미지는 원래의 흐린 이미지에서 명확하지 않은 경계를 보이는 나선다리, 막대, 조각 등 미세한 은하 구조의 가시성이 크게 향상됨을 보여준다.
• 대기 시야로 인해 손실된 고주파 수치 세부 정보를 효과적으로 복원함으로써, 새로운 은하 이미지에 대해서도 강력한 일반화 능력을 입증한다.
• SeeingGAN의 추론 속도는 대규모 은하 이미지 라이브러리 처리에 적합하여 향후 설문 조사에 대한 확장 가능한 응용이 가능하다.
• 이 방법은 이식 가능하다: 충분한 쌍체 데이터가 확보된다면, 빅터리티(VLT), 키크(Keck), 또는 SDSS와 같은 다른 지상 기반 망원경을 대상으로도 유사한 모델을 개발할 수 있다.
• 결과적으로, 이전에 흐린 이미지로 인해 S0형으로 분류되었던 은하들이 복원 후 나선형으로 재분류될 가능성이 있으며, 이는 은하 진화 및 형태 밀도 연구에 영향을 줄 수 있다.