[논문 리뷰] TraDE: Transformers for Density Estimation

Rasool Fakoor, Pratik Chaudhari외 2명|arXiv (Cornell University)|2020. 04. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 70인용 수 13

한 줄 요약

TraDE는 연속적이고 이산적인 데이터에 대해 Transformer를 사용하는 자기회귀 밀도 추정기로, 샘플 품질과 강건성을 향상시키기 위해 처벌된 최대우도 기반으로 훈련된다. 이는 표준편차 기반 모델과 정규화 흐름 모델보다 우수한 로그우도 성능과 표본 생성, OOD 탐지, 노이즈 강건성 등 다양한 타깃 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

We present TraDE, a self-attention-based architecture for auto-regressive density estimation with continuous and discrete valued data. Our model is trained using a penalized maximum likelihood objective, which ensures that samples from the density estimate resemble the training data distribution. The use of self-attention means that the model need not retain conditional sufficient statistics during the auto-regressive process beyond what is needed for each covariate. On standard tabular and image data benchmarks, TraDE produces significantly better density estimates than existing approaches such as normalizing flow estimators and recurrent auto-regressive models. However log-likelihood on held-out data only partially reflects how useful these estimates are in real-world applications. In order to systematically evaluate density estimators, we present a suite of tasks such as regression using generated samples, out-of-distribution detection, and robustness to noise in the training data and demonstrate that TraDE works well in these scenarios.

연구 동기 및 목표

• 역행성 제약 없이 연속적이고 이산적 데이터를 모두 처리할 수 있는 유연하고 확장 가능한 자기회귀 밀도 추정기를 개발하는 것.
• 로거우도를 넘어서 실제 응용 과제에서의 성능 평가를 통해 샘플 품질과 일반화 능력을 향상시키는 것.
• 자기주도 어텐션 메커니즘이 장거리 의존성을 효과적으로 포착할 수 있음을 보여주며, 밀도 추정에 적합함을 입증하는 것.
• 단순한 로그우도 외에도 회귀, OOD 탐지, 노이즈 강건성 벤치마크를 통해 밀도 추정기의 성능을 체계적으로 평가하는 것.

제안 방법

• TraDE는 자기회귀 방식으로 조건부 밀도를 모델링하기 위해 자기주도 어텐션을 갖춘 Transformer 아키텍처를 사용한다.
• 이전에 생성된 변수의 역사 표현을 위해 RNN 기반 입력 임베딩을 활용하여 효과적인 맥락 모델링을 구현한다.
• 일반화 능력 향상과 과적합 방지를 위해 처벌된 최대우도 목적함수를 사용해 모델을 훈련한다.
• 자기주도 어텐션은 고차원의 충분통계량을 저장할 필요 없이 관련된 이전 변수에 주목할 수 있어, RNN과는 달리 효율적이다.
• 역행성 흐름이나 자코비안 계산이 필요 없어 정규화 흐름보다 더 큰 유연성을 제공한다.
• 출력 헤드에서 적절한 조건부 분포 파rameterization을 통해 연속적이고 이산적 데이터 모두를 지원한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처가 연속적이고 이산적 데이터에 대해 자기회귀 밀도 추정에서 최고 성능을 낼 수 있는가?
• RQ2 TraDE의 밀도 추정 성능은 실제 응용 과제, 예를 들어 회귀 및 이방성 분포 탐지에서 어떻게 평가되는가?
• RQ3 기존 방법과 비교해 TraDE는 노이즈가 섞인 훈련 데이터에서 얼마나 강건한가?
• RQ4 자기주도 어텐션은 자기회귀 밀도 추정에서 장거리 의존성을 모델링하는 데 RNN보다 우월한가?
• RQ5 로그우도가 실질적인 응용에서의 유용성과 얼마나 관련이 깊은가?

주요 결과

• HEPMASS 데이터셋에서 TraDE는 테스트 로그우도 -11.98 nats를 기록했으며, NSF(-14.51)와 RNN 기반 모델을 모두 능가했다.
• 생성된 샘플을 사용한 회귀 분석에서 TraDE는 HEPMASS에서 MSE 0.780을 기록했으며, 실제 데이터(0.773)에 근접했고, 표준 Transformer는 1.37을 기록했다.
• 실제 데이터와 생성된 데이터를 구분하는 이중 샘플 테스트 정확도는 TraDE가 51±1%로, 표준 Transformer의 88±15%보다 훨씬 낮아 샘플 품질이 뛰어나다는 것을 시사한다.
• OOD 탐지에서 TraDE는 Pendigits에서 평균 정밀도 0.98, ForestCover에서 0.95, Satimage-2에서 1.0을 기록했으며, NADE, NICE, TAN을 모두 초월했다.
• 노이즈가 포함된 훈련 데이터(10% 노이즈)에서 TraDE는 로그우도 -12.43 nats를 유지했으며, 더 높은 성능을 기록한 청소년 데이터셋에서도 NSF와 유사한 강건성을 보였다.
• 제거 실험 결과, 자기주도 어텐션과 RNN 기반 입력 임베딩의 조합이 TraDE의 성능 향상의 핵심임을 확인했으며, 이 조합을 제거할 경우 응용 과제 정확도가 크게 떨어졌다.