[논문 리뷰] Positional Encodings for Light Curve Transformers: Playing with Positions and Attention

Daniel Moreno-Cartagena, G. Cabrera-Vives외 4명|arXiv (Cornell University)|2023. 08. 11.

Advanced Vision and ImagingComputer Science인용 수 3

한 줄 요약

이 논문은 다양한 주기와 magnitude 분포를 가진 데이터셋에서 성능과 학습 효율성을 향상시키기 위해 최종 어텐션 레이어 출력에 직접 시간 정보를 통합하는 학습 가능한 위치 인코딩(PE)을 제안한다. 이 방법은 고정된 비학습 가능한 PE보다 분류 정확도와 수렴 속도에서 뛰어난 성능을 보이며, 다양한 주기와 magnitude 분포를 가진 데이터셋에서 우수한 성능을 발휘한다.

ABSTRACT

We conducted empirical experiments to assess the transferability of a light curve transformer to datasets with different cadences and magnitude distributions using various positional encodings (PEs). We proposed a new approach to incorporate the temporal information directly to the output of the last attention layer. Our results indicated that using trainable PEs lead to significant improvements in the transformer performances and training times. Our proposed PE on attention can be trained faster than the traditional non-trainable PE transformer while achieving competitive results when transfered to other datasets.

연구 동기 및 목표

• 다른 주기와 magnitude 분포를 가진 데이터셋 간에 경량 곡선 트랜스포머의 이식 가능성 평가
• 시간 시리즈 분류에서 다양한 위치 인코딩(PE) 전략이 트랜스포머 성능에 미치는 영향 탐구
• 어 attention 메커니즘에서 시간적 정보와 관측 정보를 분리함으로써 모델 일반화 능력 향상
• 학습 가능한 PE를 통해 학습 속도를 가속화하면서도 분류 정확도를 유지하거나 향상시키기
• 최종 어텐션 레이어 출력에 직접 시간 정보를 통합하는 새로운 방법 제안

제안 방법

• 기존 트랜스포머에서 사용하는 고정된 사인-余弦 함수를 대체하는 학습 가능한 위치 인코딩(PE) 제안
• 최종 어텐션 레이어 출력에 직접 시간 정보를 통합하는 새로운 방법 도입하여 입력 임bedding에서 이를 분리
• 관측 magnitude 를 처리하기 위해 피드포워드 네트워크(FFN)를 사용한 후, PE와 덧셈 또는 연결 연산 수행
• 기본 모델로 수정된 사인파형 PE 사용, 주파수는 기준 주파수 1000으로 스케일링하고 차원에 따라 감쇠 처리
• 쿼리, 키, 밸류 투영을 포함한 멀티헤드 자기어텐션 적용, 잔차 연결 및 레이어 정규화 이후 처리
• 다양한 PE 평가: 학습 가능한 PE, 푸리에 기반 PE, 순환형 PE, Tupe-A, PEA, Concat PE; 성능 및 학습 시간 비교

실험 결과

연구 질문

• RQ1 다양한 주기의 데이터셋에서 다양한 위치 인코딩 전략이 경량 곡선 트랜스포머 성능에 어떤 영향을 미치는가?
• RQ2 학습 가능한 위치 인코딩이 고정된 비학습 가능한 PE보다 일반화 능력을 향상시키고 학습 시간을 단축시킬 수 있는가?
• RQ3 Concat PE 방식을 통해 시간적 정보와 관측 정보를 분리하면 분류 성능이 향상되는가?
• RQ4 최종 어텐션 레이어 출력에 시간 정보를 직접 통합하는 제안된 방법이 표준 PE 통합 방식보다 우수한가?
• RQ5 다른 magnitude 분포(예: OGLE, ATLAS)를 가진 데이터셋 간에 다양한 PE를 사용한 경량 곡선 트랜스포머의 이식 가능성은 어떠한가?

주요 결과

• 학습 가능한 PE는 모든 주기와 데이터셋에서 F1-score와 학습 속도 면에서 가장 뛰어난 종합 성능를 기록하여 기준 모델을 초월했다.
• 푸리에 기반 PE는 사전학습 단계에서 복원 성능이 가장 뛰어나고 학습 시간도 가장 빠르게 기록되어 기준 모델을 모두 앞섰다.
• Concat PE는 관측 및 시간적 특징을 효과적으로 분리하여 모든 데이터셋에서 평균 F1-score가 가장 높았다.
• PEA(위치 인코딩 어텐션) 방법은 기준 모델보다 빠르게 학습되었고, 세 번째로 빠른 모델들(순환형, Tupe-A, PEA) 중에서 분류 결과가 가장 우수했으며, 특히 MACHO 데이터셋에서 두각을 나타냈다.
• 학습 가능한 PE는 희박한 경량 곡선(1/2 및 1/4 주기)에서도 성능 저하가 가장 적었으며, 비정규적 샘플링에 대해 뛰어난 강건성을 보였다.
• 푸리에 기반 PE는 OGLE 및 ATLAS 조사에서 모두 기준 모델을 능가했으며, ATLAS에서 가장 높은 F1-score를 기록했고, 학습 가능한 PE는 OGLE에서 이를 맞추거나 초월했다.