[論文レビュー] Paying Attention to Astronomical Transients: Introducing the Time-series Transformer for Photometric Classification

Tarek Allam, Jason D. McEwen|arXiv (Cornell University)|May 13, 2021

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

この論文は、天文学的変光天体の光度分類を目的とした、新しい時系列変換器アーキテクチャ t2 を提案する。光曲線と追加特徴量に対するマルチヘッド自己注意機構を活用することで、熟練した特徴工学に依存を最小限に抑えつつ、不均衡な PLAsTiCC データ上でログ損失 0.507 の最先端の性能を達成し、クラス活性化マップによる解釈可能性を実現した。

ABSTRACT

Future surveys such as the Legacy Survey of Space and Time (LSST) of the Vera C. Rubin Observatory will observe an order of magnitude more astrophysical transient events than any previous survey before. With this deluge of photometric data, it will be impossible for all such events to be classified by humans alone. Recent efforts have sought to leverage machine learning methods to tackle the challenge of astronomical transient classification, with ever improving success. Transformers are a recently developed deep learning architecture, first proposed for natural language processing, that have shown a great deal of recent success. In this work we develop a new transformer architecture, which uses multi-head self attention at its core, for general multi-variate time-series data. Furthermore, the proposed time-series transformer architecture supports the inclusion of an arbitrary number of additional features, while also offering interpretability. We apply the time-series transformer to the task of photometric classification, minimising the reliance of expert domain knowledge for feature selection, while achieving results comparable to state-of-the-art photometric classification methods. We achieve a logarithmic-loss of 0.507 on imbalanced data in a representative setting using data from the Photometric LSST Astronomical Time-Series Classification Challenge (PLAsTiCC). Moreover, we achieve a micro-averaged receiver operating characteristic area under curve of 0.98 and micro-averaged precision-recall area under curve of 0.87.

研究の動機と目的

• LSST調査で想定される毎晩数百万件の変光天体イベントの分類という課題に対処すること。
• 天文学的変光天体の光度分類における熟練者主導の特徴工学への依存を低減すること。
• 天文学的調査で一般的な不均衡で代表的でない訓練データを扱えるディーブラーニングモデルの開発。
• 光曲線と補助的特徴量の重要な部分を強調することで、モデル意思決定の解釈可能性を提供すること。
• 天文学を越えて応用可能な多変量時系列分類に適した汎用アーキテクチャの構築。

提案手法

• 時系列の自己注意機構に基づく、t2 と呼ばれる時系列変換器アーキテクチャを提案し、光度曲線内の時間的依存性をモデル化する。
• 任意の追加特徴量（例：赤方偏移）を入力埋め込みに直接統合し、時系列とメタデータの両方に対する統合的注意を可能にする。
• クラス活性化マップ（CAMs）を用いて、光曲線と特徴量における注意重みを可視化することで、解釈可能性を提供する。
• クラスの不均衡を緩和するために、ファクター重み付きの交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• デコーダーを含まない標準的な変換器エンコーダー構造を採用し、シーケンス分類に焦点を当てる。
• 時間的順序を保持するために位置エンコーディングを適用し、再帰を用いずとも時間的パターンを学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構に基づくアーキテクチャは、広範な特徴工学を伴わずに、光度分類で競争力のある性能を達成できるか？
• RQ2 提案された時系列変換器は、LSSTスケールの調査に代表される極めて不均衡な天文学的データセットをどれほどうまく処理できるか？
• RQ3 注意メカニズムは、関連する特徴量や光曲線をどれほど効果的に強調できるか。これにより、天文学的分類におけるモデルの解釈可能性がどの程度向上するか？
• RQ4 補助的特徴量（例：赤方偏移）の組み込みは、分野特化の特徴工学が存在しない状況で分類性能を向上させるか？
• RQ5 このモデルは、天文学的調査で一般的な非代表的訓練データ分布にも一般化可能か？

主な発見

• t2 モデルは、不均衡な PLAsTiCC データセット上でログ損失 0.507 を達成し、類似条件下での先行手法を上回った。
• モデルはマイクロ平均 AUC 0.98 とマイクロ平均 PR-AUC 0.87 を達成し、すべてのクラスにおいて優れた識別性能を示した。
• モデルはクラスの不均衡に対して強く、特に頻度の高いタイプ Ia 超新星などにバイアスを示さなかった。
• クラス活性化マップは、関連する光曲線と特徴量を効果的に強調し、モデル意思決定の解釈可能なインサイトを提供した。
• 多くの競合ディーブラーニングモデルよりもパラメータ数が少なく、学習が速く、低遅延推論が可能であった。
• 将来的なデータオーグメンテーション技術と互換性があり、早期分類のための因果マスクを拡張可能である。