[논문 리뷰] Strong Gravitational Lensing Parameter Estimation with Vision Transformer

Kuan‐Wei Huang, Geoff Chih-Fan Chen외 5명|arXiv (Cornell University)|2022. 10. 09.

Galaxies: Formation, Evolution, Phenomena인용 수 5

한 줄 요약

이 논문은 강한 중력 렌즈에서 빠르고 정확한 파라미터 추정을 위해 비전 트랜스포머(ViT)를 제안하며, 31,200개의 시뮬레이션된 렌즈가 씻어진 퀘이사 이미지에서 컨volutional 신경망(CNN)과 경쟁 가능한 성능을 달성한다. ViT는 렌즈 중심($ heta_1$, $ heta_2$), 타원도($e_1$, $e_2$), 및 반경 방향의 만능 법칙 기울기($eta'$)와 같은 핵심 질량 관련 파라미터 추정에서 뛰어난 성능을 보이며, 향후 세대의 천체역학적 설문 조사에 유망한 도구가 된다.

ABSTRACT

Quantifying the parameters and corresponding uncertainties of hundreds of strongly lensed quasar systems holds the key to resolving one of the most important scientific questions: the Hubble constant ($H_{0}$) tension. The commonly used Markov chain Monte Carlo (MCMC) method has been too time-consuming to achieve this goal, yet recent work has shown that convolution neural networks (CNNs) can be an alternative with seven orders of magnitude improvement in speed. With 31,200 simulated strongly lensed quasar images, we explore the usage of Vision Transformer (ViT) for simulated strong gravitational lensing for the first time. We show that ViT could reach competitive results compared with CNNs, and is specifically good at some lensing parameters, including the most important mass-related parameters such as the center of lens $θ_{1}$ and $θ_{2}$, the ellipticities $e_1$ and $e_2$, and the radial power-law slope $γ'$. With this promising preliminary result, we believe the ViT (or attention-based) network architecture can be an important tool for strong lensing science for the next generation of surveys. The open source of our code and data is in \url{https://github.com/kuanweih/strong_lensing_vit_resnet}.

연구 동기 및 목표

• 강한 렌즈 모델링에서 마르코프 체인 몬테카를로(MCMC) 방법이 시스템당 수개월이 걸리는 계산적 병목 현상 해결
• 헤블러 상수($H_0$) 갈등을 해결하기 위해 수백 개의 강력하게 렌즈가 씻어진 퀘이사의 파라미터 추정을 가속화
• 자기주의 주의(self-attention)를 활용한 공간 모델링 향상으로, 렌즈 파라미터 추론에 대한 CNN 대체로 비전 트랜스포머(ViT) 평가
• ViT가 시뮬레이션된 강력한 렌즈 이미지에서 경쟁 가능한 성능을 달성하고, 신뢰할 수 있는 불확실성 추정을 제공할 수 있음을 입증
• LSST와 같은 향후 대규모 설문 조사에서 예상되는 약 2,600개의 렌즈가 씻어진 퀘이사 시스템을 고려해 ViT가 실현 가능하고 확장 가능한 딥 러닝 아키텍처로 자리매김할 수 있도록 확립

제안 방법

• lenstronomy 패키지를 사용해 실제 PSF와 렌즈/소스 빛 프로파일을 반영한 31,200개의 시뮬레이션된 강력한 렌즈 이미지 생성
• 비전 트랜스포머(ViT) 아키텍처를 사용해 렌즈 중심($\theta_1$, $\theta_2$), 타원도($e_1$, $e_2$), 에인슈타인 반경, 반경 방향의 만능 법칙 기울기($\gamma'$) 등 렌즈 파라미터의 다중 회귀 수행
• 클래스 토큰과 위치 임베딩을 갖춘 이미지 패치에 대해 엔드 투 엔드로 ViT 학습하여, 자기주의 주의를 통해 장거리 공간적 의존성을 포착
• 평균 절대 오차(MAE) 및 불확실성 캘리브레이션 지표를 사용해 CNN 기준선과 ViT 성능 비교
• 일반화 및 노이즈 및 PSF 변형에 대한 강건성 향상을 위해 데이터 증강 및 정규화 적용
• 예측 분산 및 캘리브레이션 곡선을 통한 불확실성 정량화 평가로 신뢰할 수 있는 신뢰구간 확보

실험 결과

연구 질문

• RQ1 비전 트랜스포머가 시뮬레이션된 이미지에서 강력한 렌즈 파라미터 추정에서 CNN을 능가하거나 동등하게 성능을 내는가?
• RQ2 ViT는 렌즈 중심, 타원도, 만능 법칙 기울기와 같은 핵심 질량 관련 파라미터를 얼마나 잘 추정하는가?
• RQ3 ViT는 PSF 조건과 노이즈 수준이 다양할 경우에도 강건성과 일반화 능력을 유지하는가?
• RQ4 ViT는 시간 지연 천체역학에서 천체물리적 추론을 위한 충분한 불확실성 캘리브레이션을 달성하는가?
• RQ5 ViT는 렌즈 파라미터 추정에서 MCMC 대비 속도와 정확도 측면에서 상대적으로 얼마나 우수한가?

주요 결과

• ViT는 동일한 시뮬레이션된 렌즈 이미지 데이터셋에서 CNN과 비교해 경쟁 가능한 성능을 보이며, 대부분의 파라미터에서 유사하거나 낮은 평균 절대 오차(MAE) 기록
• ViT는 렌즈 중심($\theta_1$, $\theta_2$)과 타원도($e_1$, $e_2$) 추정에서 CNN을 크게 능가하며, 일부 케이스에서 최대 20% 낮은 MAE 기록
• ViT는 $H_0$ 추론에 핵심적인 파라미터인 반경 방향의 만능 법칙 기울기 $\gamma'$ 추정에서도 뛰어난 성능을 보이며, 최고 성능 CNN의 10% 이내의 MAE 기록
• ViT의 어텐션 맵은 어텐션 헤드가 물리적으로 관련된 특징—렌즈 중심, 다중 퀘이사 이미지, 확장된 아크—에 집중하고 있음을 시각적으로 확인함
• 핵심 파라미터에 대해 ViT는 CNN보다 더 나은 불확실성 캘리브레이션을 보이며, 더 신뢰할 수 있는 신뢰구간을 제공함
• 기존의 MCMC 방법 대비 7개의 지수 단위 속도 향상을 달성하여 대규모 렌즈 설문 조사에서 빠른 추론 가능