[논문 리뷰] Attentive Neural Processes

Hyunjik Kim, Andriy Mnih외 6명|arXiv (Cornell University)|2019. 01. 17.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 27

한 줄 요약

이 논문은 신경 과정(Neural Processes, NPs)의 개선 버전인 주의 기반 신경 과정(Attentive Neural Processes, ANPs)을 제안한다. ANPs는 가중치를 갖는 주의(attention)를 사용하여 문맥 표현 학습을 향상시켜 관측된 문맥 점에서 더 정확한 예측을 가능하게 한다. 타겟 입력이 관련성이 있는 문맥 점에 주의를 기울일 수 있도록 함으로써, ANPs는 표준 NPs에 비해 과소적합(underfitting)을 크게 줄이고, 학습 속도를 빠르게 하며, 더 넓은 범위의 함수를 모델링할 수 있다.

ABSTRACT

Neural Processes (NPs) (Garnelo et al 2018a;b) approach regression by learning to map a context set of observed input-output pairs to a distribution over regression functions. Each function models the distribution of the output given an input, conditioned on the context. NPs have the benefit of fitting observed data efficiently with linear complexity in the number of context input-output pairs, and can learn a wide family of conditional distributions; they learn predictive distributions conditioned on context sets of arbitrary size. Nonetheless, we show that NPs suffer a fundamental drawback of underfitting, giving inaccurate predictions at the inputs of the observed data they condition on. We address this issue by incorporating attention into NPs, allowing each input location to attend to the relevant context points for the prediction. We show that this greatly improves the accuracy of predictions, results in noticeably faster training, and expands the range of functions that can be modelled.

연구 동기 및 목표

• 신경 과정(Neural Processes, NPs)에서 문맥 표현의 평균 집계로 인해 문맥 점에서의 예측이 정확하지 않은 기본적인 과소적합 문제를 해결하기 위해.
• 관련성이 있는 문맥 점에 대해 동적이고 주의 기반의 가중치를 적용함으로써, 회귀 과제에서 예측 분포의 표현력과 정확도를 향상시키기 위해.
• 1D 및 2D 회귀 벤치마크에서 성능을 유지하거나 향상시키면서도 학습 속도를 빠르게 하기 위해.
• 더 유연한 문맥 표현 학습을 통해 NPs가 모델링할 수 있는 함수의 범위를 확장하기 위해.

제안 방법

• 타겟 입력이 쿼리-키-점곱 주의(attention)를 통해 관련성이 있는 문맥 점에 주의를 기울일 수 있도록 디코더에 주의 메커니즘을 도입한다.
• 전역 문맥 인코딩을 유지하면서도 문맥 표현에 주의를 적용하여 문맥 집합의 순열 불변성(permutation invariance)을 유지한다.
• NP 인코더에서 고정된 평균 집계를 대체하여, 타겟에 대한 관련성에 따라 문맥 점을 동적으로 가중치를 두는 학습 가능한 주의 메커니즘을 도입한다.
• 복잡한 문맥과 타겟 입력 간의 종속성을 모델링하기 위해 다중 헤드(dot-product) 주의를 사용하여 표현 품질을 향상시킨다.
• 동적이고 입력 기반의 주의를 허용하면서도, 문맥 및 타겟 집합에 대한 NP의 인도적 편향(permutation invariance)을 유지한다.
• 표준 NP 디코더 아키텍처를 사용하지만, 타겟 입력과 함께 주의 기반 문맥 표현에 조건을 붙여 더 정확한 예측 분포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 신경 과정(Neural Processes)의 과소적합 문제, 특히 관측된 문맥 점에서의 과소적합을 완화할 수 있는가?
• RQ2 NPs에 주의 메커니즘을 통합하면 수렴 속도가 빨라지고 학습 효율성이 향상되는가?
• RQ3 기존 NPs에 비해 주의 메커니즘이 모델링할 수 있는 함수의 범위를 얼마나 넓힐 수 있는가?
• RQ4 1D 및 2D 회귀 과제에서 ANPs의 예측 정확도와 불확실성 추정 성능은 NPs에 비해 어떻게 비교되는가?

주요 결과

• ANPs는 특히 1D 곡선 피팅 및 2D 이미지 복원 과제에서 표준 NPs에 비해 문맥 점에서의 예측 오차를 크게 줄였다.
• 학습 반복 횟수와 월클록 시간 모두에서 ANPs는 더 빠른 수렴 속도를 보이며, 최적화 동역학이 향상됨을 입증했다.
• 주의 메커니즘 덕분에 ANPs는 표준 NPs가 어려워하는 복잡한 局소적 종속성(local dependencies)을 가진 함수까지도 모델링할 수 있게 되었다.
• ANPs는 NPs보다 더 낮은 음의 로그우도(Negative Log-Likelihood, NLL)를 보이며, 문맥 및 타겟 집합 모두에서 개선된 예측 불확실성 추정을 보였다.
• 관련 문맥 점에 주의를 기울일 수 있는 모델의 능력 덕분에, 얼굴 이미지 보정 과제와 같이 더 일관되고 정확한 복원 결과를 도출했다.