[論文レビュー] TransientViT: A novel CNN - Vision Transformer hybrid real/bogus transient classifier for the Kilodegree Automatic Transient Survey

Zhuoyang Chen, Wenjie Zhou+4 more|arXiv (Cornell University)|Sep 18, 2023

CCD and CMOS Imaging SensorsEngineering被引用数 3

ひとこと要約

TransientViTは、畳み込み層による局所的特徴抽出と階層的自己注意機構によるグローバルな文脈モデリングを組み合わせることで、Kilodegree Automatic Transient Survey (KATS)における本物／偽物の過渡的天体分類を向上させる、新しいCNN-ビジョントランスフォーマー混合モデルである。KATS-T 200Kデータセットにおいて99.44%の精度と0.97のAUCを達成し、過渡的天体パイプラインにおける手動による点検の必要性を顕著に低減した。

ABSTRACT

The detection and analysis of transient astronomical sources is of great importance to understand their time evolution. Traditional pipelines identify transient sources from difference (D) images derived by subtracting prior-observed reference images (R) from new science images (N), a process that involves extensive manual inspection. In this study, we present TransientViT, a hybrid convolutional neural network (CNN) - vision transformer (ViT) model to differentiate between transients and image artifacts for the Kilodegree Automatic Transient Survey (KATS). TransientViT utilizes CNNs to reduce the image resolution and a hierarchical attention mechanism to model features globally. We propose a novel KATS-T 200K dataset that combines the difference images with both long- and short-term images, providing a temporally continuous, multidimensional dataset. Using this dataset as the input, TransientViT achieved a superior performance in comparison to other transformer- and CNN-based models, with an overall area under the curve (AUC) of 0.97 and an accuracy of 99.44%. Ablation studies demonstrated the impact of different input channels, multi-input fusion methods, and cross-inference strategies on the model performance. As a final step, a voting-based ensemble to combine the inference results of three NRD images further improved the model's prediction reliability and robustness. This hybrid model will act as a crucial reference for future studies on real/bogus transient classification.

研究の動機と目的

• 時間領域天文学における純粋なCNNベースの過渡的天体分類器の高い計算コストと限られたグローバル特徴抽出能力を是正すること。
• KATSパイプラインにおける本物／偽物の過渡的天体分類の精度と耐障害性を向上させ、手動による点検への依存を低減すること。
• 長期間および短期間の差分画像を統合した、時間的に連続的で多次元のデータセット（KATS-T 200K）の構築。
• ノイズの多い天文学的画像における過渡的天体検出に向けたCNNとビジョントランスフォーマーを組み合わせたハイブリッドアーキテクチャの有効性を評価すること。
• 複数入力の融合戦略とクロスインフェレンスを最適化することで、モデルの信頼性と一般化能力を向上させること。

提案手法

• モデルは畳み込み層を用いて入力の差分画像をダウンサンプリングし、局所的な空間的特徴を抽出する。
• ビジョントランスフォーマー部では階層的な自己注意機構が、特徴マップ全体にわたる長距離依存性とグローバルな文脈を捉える。
• 特徴の融合には、複数のNRD（Near-Reference Difference）画像からの特徴を統合するためのアダプティブクロス注意機構を採用し、空間的・時間的表現学習を強化する。
• 特徴の統合最適化のため、特徴の連結、要素ごとの加算、アダプティブクロス注意の3つのマルチインプット融合戦略を評価した。
• 予測の信頼性と耐障害性を向上させるために、3つの異なるNRD画像セグメントからの予測を統合するボーリングベースのアンサンブル推論戦略を採用した。
• モデルは、長期間および短期間の時間的シーケンスを統合した、新規の時間的に連続的で多次元のデータセットKATS-T 200K上で訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 CNN-ViTハイブリッドアーキテクチャは、天文学的差分画像における本物／偽物の過渡的天体分類において、単独のCNNおよびViTモデルを上回ることができるか？
• RQ2 連結、加算、アダプティブクロス注意の3つの異なるマルチインプット融合手法が、過渡的天体分類モデルの性能に与える影響は何か？
• RQ3 独自のサンプリングを用いたクロスインフェレンスは、モデルの一般化能力と予測信頼性をどの程度向上させるか？
• RQ4 入力チャネル構成（例：差分画像のみ vs. 多セグメント入力）が、モデルの精度とAUCに与える影響は何か？
• RQ5 複数のNRDセグメントを用いたアンサンブル推論は、誤検出率を顕著に低減させるとともに、検出感度を維持できるか？

主な発見

• TransientViTはKATS-T 200Kデータセットでテスト精度99.44%、AUC 0.97を達成し、他のViTおよびCNNベースのモデルを上回った。
• アダプティブクロス注意融合法がマルチインプット融合戦略の中で最高の性能を示し、98.66%の精度と97.87%のAUCを達成した。
• 独自のサンプリングを用いたクロスインフェレンスは、標準的な推論およびランダムサンプリング戦略を上回り、98.97%の精度と98.12%のAUCを達成した。
• ボーリングベースのアンサンブル推論戦略により、KATSパイプラインにおける1晩あたりの過渡的天体候補数が約90%削減された。
• アブレーションスタディの結果、入力チャネル構成と融合手法がモデル性能に顕著な影響を与えることが確認され、特徴連結とアダプティブクロス注意が顕著な向上を示した。
• 画像欠損（例：台座の故障によるストリーク）が存在しても、モデルは高い性能を維持しており、一般的な観測アーチファクトに対して耐性があることが示された。