[논문 리뷰] Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling

Tung Nguyen, Aditya Grover|arXiv (Cornell University)|2022. 07. 09.

Gaussian Processes and Bayesian Inference인용 수 11

한 줄 요약

이 논문은 트랜스포머 기반 아키텍처를 사용하여 메타학습을 자동회귀 시퀀스 모델링 문제로 공식화함으로써 불확실성 인식 메타학습 프레임워크인 트랜스포머 신경 프로세스(TNPs)를 제안한다. 변분 하한이 아닌 정확한 조건부 가능도를 최적화함으로써, TNPs는 메타회귀, 이미지 보완, 맥락 기반 밴디트, 베이지안 최적화 등 다양한 분야에서 최신 기술 수준(SOTA) 성능을 달성하며, 더 나은 불확실성 캘리브레이션과 표현력으로 이전의 NP 변종들을 능가한다.

ABSTRACT

Neural Processes (NPs) are a popular class of approaches for meta-learning. Similar to Gaussian Processes (GPs), NPs define distributions over functions and can estimate uncertainty in their predictions. However, unlike GPs, NPs and their variants suffer from underfitting and often have intractable likelihoods, which limit their applications in sequential decision making. We propose Transformer Neural Processes (TNPs), a new member of the NP family that casts uncertainty-aware meta learning as a sequence modeling problem. We learn TNPs via an autoregressive likelihood-based objective and instantiate it with a novel transformer-based architecture. The model architecture respects the inductive biases inherent to the problem structure, such as invariance to the observed data points and equivariance to the unobserved points. We further investigate knobs within the TNP framework that tradeoff expressivity of the decoding distribution with extra computation. Empirically, we show that TNPs achieve state-of-the-art performance on various benchmark problems, outperforming all previous NP variants on meta regression, image completion, contextual multi-armed bandits, and Bayesian optimization.

연구 동기 및 목표

• 신경 프로세스(NPs)의 한계, 즉 계산이 어려운 가능도와 과소적합 문제를 불확실성 인식 메타학습 환경에서 해결하기 위해.
• 잠재 변수와 변분 근사에 의존하는 것을 제거하기 위해 메타학습을 자기회귀 시퀀스 모델링 문제로 공식화하기 위해.
• 함수적 불확실성과의 구조적 일致성을 보장하기 위해, 컨텍스트 포인트에 대한 순열 불변성과 타겟 포인트에 대한 등변성(-equivariance)을 유지하는 트랜스포머 기반 아키텍처를 설계하기 위해.
• 예측 공분산 행렬의 근사화를 통해 예측 표현력과 계산 효율성 사이의 트레이드오프를 조사하기 위해.
• 메타회귀, 이미지 보완, 맥락 기반 밴디트, 베이지안 최적화를 포함한 벤치마크 작업에서 TNPs의 실증적 검증을 수행하기 위해.

제안 방법

• TNPs는 변분 추론과 잠재 변수를 피하기 위해, 타겟 포인트의 조건부 로그가능도를 자기회귀 목표로 모델링한다.
• GPT와 유사한 인과 마스크를 사용하는 트랜스포머 기반 백본을 사용하여 예측의 자기회귀적 생성을 가능하게 한다.
• 위치 임베딩을 제거하고, 컨텍스트 포인트 순서에 대한 불변성과 타겟 포인트 순서에 대한 등변성(-equivariance)을 보장하기 위해 새로운 팞딩 및 마스킹 전략을 도입한다.
• 예측 분포의 대칭성을 확보하기 위해 몬테카를로 근사를 사용하여 등변성을 설계에 통합한다.
• 예측 공분산 행렬의 대각형 및 코レス키 근사화를 각각 사용하는 두 가지 변종인 TNP-D와 TNP-ND를 도입하여 표현력과 계산 비용 사이의 트레이드오프를 조절한다.
• 예측 분포의 자기회귀 분해에 기반한 최대우도추정을 통해 엔드 투 엔드로 아키텍처를 훈련시킨다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 자기회귀 모델링이 잠재변수 기반 신경 프로세스와 비교해 불확실성 캘리브레이션과 예측 성능 향상에 기여하는가?
• RQ2 변분 추론과 잠재 변수를 제거하고 직접 가능도 최적화를 수행하는 것이 메타학습 과제에서 더 나은 일반화와 과소적합 감소에 기여하는가?
• RQ3 트랜스포머 기반 아키텍처를 어떻게 수정하면 신경 프로세스에서 요구하는 기능적 불변성과 등변성(예: 컨텍스트의 순열 불변성, 타겟의 등변성)을 유지할 수 있는가?
• RQ4 해당 예측 공분산을 완전히 근사화할 때 예측 표현력과 계산 효율성 사이의 트레이드오프는 어떻게 되는가?
• RQ5 TNP 변종은 불확실성 정량화가 중요한 순차적 결정 문제, 예를 들어 맥락 기반 밴디트와 베이지안 최적화에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• TNPs는 메타회귀 벤치마크에서 이전의 모든 NP 변종(예: 주목적 기반(예: ANP) 및 비주목적 모델 포함)을 능가하는 최신 기술 수준 성능을 달성한다.
• 이미지 보완 과제에서는 기존의 NP 기반 방법과 비교해 뛰어난 재구성 품질과 불확실성 캘리브레이션을 보여준다.
• 맥락 기반 다중 손잡이 밴디트 환경에서는 누적 위험도가 향상되어 더 나은 불확실성 인식 탐색과 의사결정 능력을 보여준다.
• 베이지안 최적화 과제에서는 이전의 NP 기반 접근보다 낮은 위험도와 더 빠른 수렴 속도를 기록하여, 불확실성 하에서의 순차적 결정 문제 해결에서의 효과성을 입증한다.
• TNP-D와 TNP-ND 변종은 감소된 계산 비용으로도 뛰어난 성능을 달성하여 정확한 등변성과 계산 가능성 사이의 균형이 효과적으로 이룰 수 있음을 보여준다.
• 실증 결과는 TNPs의 성능 향상이 모델 용량 증가 때문만은 아니며, 자기회귀 모델링, 아키텍처의 인덕티브 바이어스, 정확한 가능도 최적화의 조합에서 기인한다는 것을 확인한다.