[논문 리뷰] Paying Attention to Astronomical Transients: Introducing the Time-series Transformer for Photometric Classification

Tarek Allam, Jason D. McEwen|arXiv (Cornell University)|2021. 05. 13.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

이 논문은 천체 잠재변이체의 광학적 분류를 위해 설계된 새로운 시계열 트랜스포머 아키텍처인 t2를 소개한다. 빛의 밝기 변화 곡선과 추가적인 특징에 대한 다중 헤드 자기주의를 활용하여, 전문가가 수작업으로 특징을 추출하는 데 의존도를 최소화하면서도, 클래스 활성화 맵을 통해 해석 가능성을 확보한 채, 불균형한 PLAsTiCC 데이터에서 로그 손실이 0.507로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Future surveys such as the Legacy Survey of Space and Time (LSST) of the Vera C. Rubin Observatory will observe an order of magnitude more astrophysical transient events than any previous survey before. With this deluge of photometric data, it will be impossible for all such events to be classified by humans alone. Recent efforts have sought to leverage machine learning methods to tackle the challenge of astronomical transient classification, with ever improving success. Transformers are a recently developed deep learning architecture, first proposed for natural language processing, that have shown a great deal of recent success. In this work we develop a new transformer architecture, which uses multi-head self attention at its core, for general multi-variate time-series data. Furthermore, the proposed time-series transformer architecture supports the inclusion of an arbitrary number of additional features, while also offering interpretability. We apply the time-series transformer to the task of photometric classification, minimising the reliance of expert domain knowledge for feature selection, while achieving results comparable to state-of-the-art photometric classification methods. We achieve a logarithmic-loss of 0.507 on imbalanced data in a representative setting using data from the Photometric LSST Astronomical Time-Series Classification Challenge (PLAsTiCC). Moreover, we achieve a micro-averaged receiver operating characteristic area under curve of 0.98 and micro-averaged precision-recall area under curve of 0.87.

연구 동기 및 목표

• LSST 설문에서 매일 수백만 건의 잠재변이체 이벤트가 예상되는 문제를 해결한다.
• 천체 잠재변이체의 광학적 분류에서 전문가 중심의 특징 공학에 대한 의존도를 줄인다.
• 천체 설문에서 흔히 볼 수 있는 불균형적이고 비대표적인 학습 데이터를 처리할 수 있는 딥러닝 모델을 개발한다.
• 빛의 밝기 변화 곡선과 보조 특징에서 중요한 부분을 강조함으로써 모델 결정의 해석 가능성을 보장한다.
• 천문학을 넘어서도 적용 가능한 다변량 시계열 분류를 위한 일반적인 아키텍처를 만든다.

제안 방법

• 시간에 따른 상관관계를 모델링하기 위해 다중 헤드 자기주의 레이어를 기반으로 한 시계열 트랜스포머 아키텍처인 t2를 제안한다.
• 예를 들어 적색편이와 같은 임의의 추가 특징을 입력 임bedding에 직접 통합하여 시간 시계열과 메타데이터에 대한 동시 주의를 가능하게 한다.
• 클래스 활성화 맵(CAMs)을 사용하여 빛의 밝기 변화 곡선과 특징에서의 주의 가중치를 시각화함으로써 모델의 해석 가능성을 확보한다.
• 클래스 불균형 문제를 완화하기 위해 포지티브 웨이팅이 적용된 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 표준 트랜스포머 인코더 구조를 채택하고 디코더는 생략하여 시퀀스 분류에 집중한다.
• 시간 순서를 유지하기 위해 위치 인코딩을 적용하여, 순환 구조 없이도 시간 패턴을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자기주의 기반 아키텍처가 광학적 잠재변이체 분류에서 광범위한 특징 공학 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 제안된 시계열 트랜스포머가 LSST 규모 설문에 대응하는 고도로 불균형된 천체 데이터셋을 얼마나 잘 처리하는가?
• RQ3 어느 정도 주의 메커니즘이 관련 특징과 빛의 밝기 변화 곡선을 강조할 수 있으며, 천체 분류에서 모델의 해석 가능성을 어떻게 보장할 수 있는가?
• RQ4 예를 들어 적색편이와 같은 보조 특징의 포함이 도메인 특화된 특징 공학 없이도 분류 성능을 향상시키는가?
• RQ5 모델은 천체 설문에서 흔히 볼 수 있는 비대표적인 학습 데이터 분포에 대해 일반화 가능한가?

주요 결과

• t2 모델은 불균형한 PLAsTiCC 데이터셋에서 이전 방법과 유사한 조건에서 로그 손실 0.507을 기록하여 최신 기술 수준의 성능을 확보했다.
• 모델은 마이크로 평균 AUC 0.98과 마이크로 평균 PR-AUC 0.87을 달성하여 모든 클래스에서 강력한 분류 성능를 보였다.
• 모델은 클래스 불균형에 대해 강건하여 가장 빈도가 높은 유형인 Ia 초신성에 편향되지 않았다.
• 클래스 활성화 맵은 관련 빛의 밝기 변화 곡선과 특징을 성공적으로 강조하여 모델 결정에 대한 해석 가능한 통찰을 제공했다.
• 다른 경쟁 딥러닝 모델보다 파rameter 수가 적고 훈련 속도가 더 빨라 저지연 추론이 가능했다.
• 모델은 향후 데이터 증강 기법과 호환되며, 조기 분류를 위해 인과 마스킹을 추가로 확장할 수 있다.