[논문 리뷰] Deep learning-based astronomical multimodal data fusion: A comprehensive review

Wujun Shao, Dongwei Fan외 4명|arXiv (Cornell University)|2026. 02. 28.

Gamma-ray bursts and supernovae인용 수 0

한 줄 요약

이 리뷰는 천문학에서 심층학습 기반 다중모달 데이터 융합을 조사하며 데이터 소스, 모달리티, 모델, 융합 전략, 데이터셋, 도전과제, 향후 방향을 개관한다.

ABSTRACT

With the rapid advancements in observational technologies and the widespread implementation of large-scale sky surveys, diverse electromagnetic wave data (e.g., optical and infrared) and non-electromagnetic wave data (e.g., gravitational waves) have become increasingly accessible. Astronomy has thus entered an unprecedented era of data abundance and complexity. Astronomers have long relied on unimodal data analysis to perceive the universe, but these efforts often provide only limited insights when confronted with the current massive and heterogeneous astronomical data. In this context, multimodal data fusion (MDF), as an emerging method, provides new opportunities to enhance the value of astronomical data and deepening the understanding of the universe by integrating information from different modalities. Recent progress in artificial intelligence (AI), particularly in deep learning (DL), has greatly accelerated the development of multimodal research in astronomy. Therefore, a timely review of this field is essential. This paper begins by discussing the motivation and necessity of astronomical MDF, followed by an overview of astronomical data sources and major data modalities. It then introduces representative DL models commonly used in astronomical multimodal studies, the general fusion process as well as various fusion strategies, emphasizing their characteristics, applicability, advantages, and limitations. Subsequently, the paper surveys existing astronomical multimodal studies and datasets. Finally, the discussion section synthesizes key findings, identifies potential challenges, and suggests promising directions for future research. By offering a structured overview and critical analysis, this review aims to inspire and guide researchers engaged in DL-based MDF in astronomy.

연구 동기 및 목표

• 다중모달 데이터 융합(MDF)의 활용을 촉진하여 단일 모달 분석의 한계를 극복하려는 천문학 분야의 동기를 제공한다.
• 데이터 소스, 모달리티, 융합 수준, 모델 개발을 포괄하는 DL 기반 천문학 MDF를 위한 체계적 프레임워크를 제공한다.
• 천문학을 위한 대표적인 DL 아키텍처와 융합 전략을 비판적으로 분석한다.
• existing 연구와 데이터셋을 요약하고 현재의 도전과제와 향후 방향을 논의한다.

제안 방법

• 데이터 소스, 모달리티, 융합 레벨, 모델 개발을 연결하는 DL 기반 천문학 MDF를 위한 통일된 프레임워크를 도입한다.
• 대표적인 DL 아키텍처(ANNs, CNNs, AEs/VAEs, GANs, RNNs, Transformers)와 융합 전략을 분류하고 비판적으로 분석한다.
• 기존의 천문학 MDF 연구와 공개 데이터셋을 조사한다.
• 데이터 이질성 및 벤치마크 부재와 같은 도전과제를 논의하고 향후 연구 방향을 제안한다.

Figure 1: The basic framework of DL-based MDF in astronomy.

실험 결과

연구 질문

• RQ1 천문학 MDF에서 어떤 데이터 소스와 모달리티가 사용되는가?
• RQ2 교차 모달 천문학 데이터에 대해 어떤 DL 모델과 융합 전략이 가장 효과적인가?
• RQ3 현재 존재하는 천문학 MDF용 데이터셋과 벤치마크는 무엇이며, 그 한계는 무엇인가?
• RQ4 천문학에서 DL 기반 MDF의 주요 도전과제와 유망한 방향은 무엇인가?

주요 결과

• 이 논문은 DL 기반 천문학 MDF를 위한 체계적 프레임워크를 확립한다.
• 대표 DL 아키텍처와 융합 전략을 분류하고 그 적용 가능성을 분석한다.
• 이 분야에서 확인된 논문과 데이터셋에 대한 상세한 개요를 제공한다.
• 현재의 도전과제(데이터 이질성, 벤치마크의 부족)를 논의하고 향후 연구 방향을 제안한다.

Figure 2: Multi-band and multi-platform collaborative observations. The upper part: Taking multi-band observation images of the Crab Nebula as an example, it is evident that data from different wavebands can reveal distinct details, demonstrating the complementarity among them. Credit: [ $\gamma$ -r