[논문 리뷰] Point Cloud Generation using Transformer Encoders and Normalising Flows

Benno Käch, D. Krücker외 1명|arXiv (Cornell University)|2022. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 정규화 흐름(NFs)을 기반으로 하되, 트랜스포머 인코더로 정련된 새로운 생성 모델을 제안한다. 이는 두 번째 트랜스포머 디스criminator와 함께 적대적으로 훈련되며, JetNet 톰슨 쿼크 데이터셋에서 최신 기술 성능을 달성한다. 이는 상관관계 모델링을 크게 향상시키고, 이전 모델 대비 4.6배 더 빠른 속도로 제트를 생성하면서도 안정적인 훈련을 유지한다.

ABSTRACT

Data generation based on Machine Learning has become a major research topic in particle physics. This is due to the current Monte Carlo simulation approach being computationally challenging for future colliders, which will have a significantly higher luminosity. The generation of collider data is similar to point cloud generation, but arguably more difficult as there are complex correlations between the points which need to be modelled correctly. A refinement model consisting of normalising flows and transformer encoders is presented. The normalising flow output is corrected by a transformer encoder, which is adversarially trained against another transformer encoder discriminator/critic. The model reaches state-of-the-art performance while yielding a stable training.

연구 동기 및 목표

• 고광도 충돌기 물리학에서 몬테카를로 시뮬레이션의 계산 부담을 줄이기 위해 효율적인 딥러닝 기반 데이터 생성 기법을 개발한다.
• 특히 제트 서브스트럭처에서 복잡한 상관관계를 모델링하는 데 한계가 있는 정규화 흐름의 한계를 극복한다.
• 정규화 흐름을 강력한 초기화로 사용하여 적대적 트랜스포머 아키텍처의 훈련을 안정화시킨다.
• 분포 유사성 및 관측 가능한 질량 모델링 측면에서 JetNet 톰슨 쿼크 제트 데이터셋에서 최신 기술 성능을 달성한다.
• 후속 물리 분석을 위한 실용적인 제트 이벤트를 신속하고, 미분 가능하며 안정적으로 생성할 수 있도록 한다.

제안 방법

• 역행 가능하고 미분 가능한 변환을 통해 훈련 데이터를 표준 정규분포로 매핑하기 위해 정규화 흐름(NF)을 사용한다(특히 15개의 유리함수 스퍼링 커팅 레이어를 사용).
• NF 출력을 보정하기 위해 후처리 단계로 트랜스포머 인코더를 적용하여 상관관계 모델링을 향상시키기 위한 덧셈 보정을 학습한다.
• 두 번째 트랜스포머 인코더를 비판자/디스criminатор로 사용하여 실제 제트와 정련된 생성된 제트를 구분하는 적대적 훈련 설정을 적용한다.
• 안정적인 최적화를 위해 WGAN 유사 훈련 목표함수와 기울기 페널티, LSGAN 손실을 사용하며, RMSprop와 두 주기 코즈인 학습률 스케줄링을 적용한다.
• 변동하는 입자 수를 처리하기 위해 (η, φ, pT) 상대 공간에서 3차원 점군으로 제트 데이터를 처리하며, 영점 패딩과 마스킹을 적용한다.
• 평가를 위해 국소 관측량으로서의 관측 가능한 질량과 에너지 흐름 다항식(EFP) 특징을 통합한다.

실험 결과

연구 질문

• RQ1 복잡한 점군 상관관계를 모델링하는 데 한계가 있는 정규화 흐름이 고에너지 물리학에서 생성 모델링의 안정적이고 효과적인 기반으로 기능할 수 있는가?
• RQ2 트랜스포머 기반 정련 네트워크의 추가로 기존 정규화 흐름 대비 제트 서브스트럭처 상관관계 모델링이 유의미하게 향상되는가?
• RQ3 두 개의 트랜스포머 인코더를 갖는 적대적 훈련 설정이 안정적인 훈련을 달성하면서도 기존 GAN 기반 모델을 초월할 수 있는가?
• RQ4 제안된 모델은 MP-GAN과 같은 최신 기술 모델 대비 분포 유사성 및 관측 가능한 질량, EFP와 같은 핵심 물리 관측량 측면에서 어떻게 비교되는가?
• RQ5 제안된 모델의 추론 속도는 어떠한가? 기존 생성 모델 대비 계산 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 모델은 JetNet 톰슨 쿼크 데이터셋에서 모든 지표에서 MP-GAN과 기본 NF 모델을 모두 압도하며 최신 기술 성능을 달성한다.
• 정련된 트랜스포머 모델(TF)은 복잡한 상관관계 모델링 측면에서 기준 NF(VNF)의 5.61 대비 FPND 점수 0.08을 기록하여 유의미하게 뛰어난 성능을 보였다.
• 모델은 약 7.6 마이크로초 안에 하나의 제트를 생성하며, A100 GPU에서 MP-GAN 모델 대비 4.6배 더 빠른 속도를 기록했다.
• 모든 입자의 η, φ, pT의 주변 분포와 스케일링된 제트 질량 분포는 생성된 데이터와 실제 데이터 간에 강력한 일치를 보였다.
• LSGAN 훈련 목표함수가 Vanilla GAN과 기울기 페널티가 포함된 WGAN보다 더 안정적인 훈련 역학을 보였다.
• 관측 가능한 질량과 EFP와 같은 국소 관측량에서 높은 성능 유지를 유지함으로써, 모델이 중요한 물리 정보를 유지할 수 있음을 확인했다.