[논문 리뷰] TransientViT: A novel CNN - Vision Transformer hybrid real/bogus transient classifier for the Kilodegree Automatic Transient Survey

Zhuoyang Chen, Wenjie Zhou외 4명|arXiv (Cornell University)|2023. 09. 18.

CCD and CMOS Imaging SensorsEngineering인용 수 3

한 줄 요약

TransientViT는 쿠릴로우 자동 일시적 탐사(Kilodegree Automatic Transient Survey, KATS)에서 실수/가짜 일시적 현상 분류를 향상시키기 위해 국소적 특징 추출을 위한 컨volutional 레이어와 계층적 자기주의를 통한 전역적 맥락 모델링을 결합한 새로운 CNN-비전 트랜스포머 하이브리드 모델이다. KATS-T 200K 데이터셋에서 99.44%의 정확도와 0.97의 AUC를 기록하여 일시적 현상 파ip라인 내 수동 점검 필요성을 크게 감소시켰다.

ABSTRACT

The detection and analysis of transient astronomical sources is of great importance to understand their time evolution. Traditional pipelines identify transient sources from difference (D) images derived by subtracting prior-observed reference images (R) from new science images (N), a process that involves extensive manual inspection. In this study, we present TransientViT, a hybrid convolutional neural network (CNN) - vision transformer (ViT) model to differentiate between transients and image artifacts for the Kilodegree Automatic Transient Survey (KATS). TransientViT utilizes CNNs to reduce the image resolution and a hierarchical attention mechanism to model features globally. We propose a novel KATS-T 200K dataset that combines the difference images with both long- and short-term images, providing a temporally continuous, multidimensional dataset. Using this dataset as the input, TransientViT achieved a superior performance in comparison to other transformer- and CNN-based models, with an overall area under the curve (AUC) of 0.97 and an accuracy of 99.44%. Ablation studies demonstrated the impact of different input channels, multi-input fusion methods, and cross-inference strategies on the model performance. As a final step, a voting-based ensemble to combine the inference results of three NRD images further improved the model's prediction reliability and robustness. This hybrid model will act as a crucial reference for future studies on real/bogus transient classification.

연구 동기 및 목표

• 시간 영역 천문학에서 순수 CNN 기반 일시적 현상 분류기의 높은 계산 비용과 국한된 전역적 특징 캡처 문제를 해결하기 위해.
• KATS 파이프라인 내 실수/가짜 일시적 현상 분류의 정확도와 강건성을 향상시켜 수동 점검에 대한 의존도를 감소시키기 위해.
• 장기 및 단기 차분 이미지를 통합한 시간적으로 연속적이고 다차원적인 데이터셋(KATS-T 200K)을 개발하여 모델 훈련을 향상시키기 위해.
• 노이즈가 많은 천체 영상에서 일시적 현상 탐지를 위한 CNN과 비전 트랜스포머를 융합한 하이브리드 아키텍처의 효과를 평가하기 위해.
• 다중 입력 융합 및 상호 예측 전략을 통해 추론을 최적화하여 모델의 신뢰성과 일반화 능력을 향상시키기 위해.

제안 방법

• 모델은 입력 차분 이미지를 다운샘플링하고 국소적 공간적 특징을 추출하기 위해 컨volutional 레이어를 사용한다.
• 비전 트랜스포머 구성 요소의 계층적 자기주의 메커니즘이 특징 맵 전역에서 장거리 의존성과 전역 맥락을 포착한다.
• 다중 NRD(Near-Reference Difference) 이미지의 특징을 융합하기 위해 적응형 크로스-어텐션 메커니즘이 도입되어 공간-시간 표현 학습이 향상된다.
• 특징 통합 최적화를 위해 다중 입력 융합 전략—특징 연결, 요소별 덧셈, 적응형 크로스-어텐션—을 평가하였다.
• 세 개의 서로 다른 NRD 이미지 세그먼트에서의 예측을 융합하기 위한 투표 기반 앙상블 추론 전략을 통해 정밀도와 신뢰성을 향상시켰다.
• 모델는 장기 및 단기 시간 시퀀스를 포함한 새로운 시간적으로 연속적이고 다차원적인 데이터셋인 KATS-T 200K에서 훈련 및 평가되었다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-ViT 아키텍처가 천체 차분 이미지에서 실수와 가짜 일시적 현상을 분류하는 데 있어 순수 CNN 및 ViT 모델보다 우월한 성능을 보일 수 있는가?
• RQ2 다양한 다중 입력 융합 기법(연결, 덧셈, 적응형 크로스-어텐션)이 일시적 현상 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 유일한 샘플링을 통한 크로스-인퍼런스는 모델의 일반화 능력과 예측 신뢰성에 얼마나 기여하는가?
• RQ4 입력 채널 구성(예: 차분 이미지만 vs. 다중 세그먼트 입력)이 모델의 정확도와 AUC에 어떤 영향을 미치는가?
• RQ5 여러 NRD 세그먼트를 활용한 앙상블 추론 전략은 감지 민감도를 유지하면서도 거짓 양성률을 상당히 감소시킬 수 있는가?

주요 결과

• TransientViT는 KATS-T 200K 데이터셋에서 테스트 정확도 99.44%와 AUC 0.97을 기록하여 다른 ViT 및 CNN 기반 모델을 압도했다.
• 적응형 크로스-어텐션 융합 방법이 다중 입력 융합 전략 중에서 가장 높은 성능을 보였으며, 정확도 98.66%와 AUC 97.87%를 기록했다.
• 유일한 샘플링을 통한 크로스-인퍼런스는 성능을 98.97% 정확도와 98.12% AUC로 향상시켜 표준 추론 및 무작위 샘플링 전략을 뛰어넘었다.
• 투표 기반 앙상블 추론 전략은 더욱 강건한 성능을 확보하여 KATS 파이프라인 내 일일 일시적 후보 수를 약 90% 감소시켰다.
• 제거 실험을 통해 입력 채널 구성과 융합 방법이 모델 성능에 상당한 영향을 미치는 것으로 확인되었으며, 특징 연결 및 적응형 크로스-어텐션 방법에서 뚜렷한 성능 향상이 관찰되었다.
• 예를 들어, 장치 고장으로 인한 줄무늬와 같은 영상 결함이 존재하더라도 모델은 높은 성능 유지를 유지하여 일반적인 관측 오염 요소에 대한 강건성을 입증했다.