[논문 리뷰] Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes

Peter Holderrieth, Michael Hutchinson외 1명|arXiv (Cornell University)|2020. 11. 25.

Gaussian Processes and Bayesian Inference참고 문헌 46인용 수 4

한 줄 요약

이 논문은 물리 및 공학 분야의 벡터 필드와 같은 확률적 필드를 학습하기 위한 새로운 등변 모델인 Steerable Conditional Neural Processes (SteerCNPs)를 소개한다. 군 이론과 기울기 가능한 커널을 사용하여 회전과 반사에 대한 등변성을 강제함으로써 SteerCNPs는 합성 및 실세계 데이터에서 뛰어난 일반화 능력과 강건성을 확보하며, 특히 데이터 증강 및 분포 이탈 상황에서 기준 모델보다 우수한 성능을 보인다. 이는 우도 및 전이 학습 작업 모두에서 성능을 뛰어나게 한다.

ABSTRACT

Motivated by objects such as electric fields or fluid streams, we study the problem of learning stochastic fields, i.e. stochastic processes whose samples are fields like those occurring in physics and engineering. Considering general transformations such as rotations and reflections, we show that spatial invariance of stochastic fields requires an inference model to be equivariant. Leveraging recent advances from the equivariance literature, we study equivariance in two classes of models. Firstly, we fully characterise equivariant Gaussian processes. Secondly, we introduce Steerable Conditional Neural Processes (SteerCNPs), a new, fully equivariant member of the Neural Process family. In experiments with Gaussian process vector fields, images, and real-world weather data, we observe that SteerCNPs significantly improve the performance of previous models and equivariance leads to improvements in transfer learning tasks.

연구 동기 및 목표

• 물리적 대칭성, 예를 들어 회전과 반사와 같은 대칭성을 확률적 필드에서 존중하는 기계 학습 모델을 개발하는 것.
• 공간 변환에 대해 등변성을 가지는 가우시안 프로세스가 성립하는 조건을 수학적으로 정의하는 것.
• 기울기 가능한 커널과 군 표현을 통해 등변성을 강제하는 새로운 신경 과정 변종인 SteerCNPs를 설계하는 것.
• 전이 학습 및 분포 외부 설정에서 향상된 성능과 일반화 능력을 입증하는 것.
• 등변 딥 러닝과 확률적 모델링을 융합하여 과학적 기계 학습에 기여하는 것.

제안 방법

• 군 표현 이론을 활용하여 벡터 값 가우시안 프로세스가 직교 변환에 대해 등변성을 가지기 위한 필요 및 충분 조건을 유도한다.
• C₄, C₈, D₄, D₈와 같은 O(n)의 유한 부분군에서의 등변성을 확보하기 위해 섬유 표현을 사용하는 기울기 가능한 컨볼루션 레이어를 갖춘 조건부 신경 과정인 SteerCNPs를 도입한다.
• 컨텍스트 포인트가 군 작용 하에서 예측 필드와 일관되게 변환되도록 하는 군 등변 메시지 전달 메커니즘을 적용한다.
• 군 H의 기약 표현을 사용하여 군 연산 하에서 입력과 동일한 방식으로 출력이 변환되도록 하여 등변성을 유지한다.
• 우도 최대화를 통해 엔드 투 엔드로 학습되며, 공분산에 대해 소프트플러스 활성화 함수, 평균에 대해 시그모이드 함수를 사용하여 불변성과 유한 출력을 유지한다.
• 빈 이미지와 회전된 숫자를 사용한 데이터 증강을 통해 분포 이탈 및 컨텍스트 외 일반화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 확률적 프로세스 모델이 회전과 반사와 같은 공간 변환에 대해 등변성을 가지는가?
• RQ2 Rⁿ 내에서 일반 직교 변환에 대해 등변성을 가지는 가우시안 프로세스를 어떻게 구성할 수 있는가?
• RQ3 비이동 대칭성, 예를 들어 회전과 반사에 대해 완전히 등변적인 신경 과정 모델을 설계할 수 있는가?
• RQ4 등변성 강제가 소수의 샘플 및 분포 외부 설정에서 일반화 능력과 강건성을 향상시키는가?
• RQ5 등변성은 날씨 필드 및 벡터 필드와 같은 실세계 과학 데이터에서 성능에 어떤 영향을 미치는가?

주요 결과

• SteerCNPs는 기준 모델보다 유의미하게 높은 로그 우도 점수를 기록하며, D₈ 대칭성을 가진 모델은 가장 높은 성능을 보였다. 특히, 회전된 MNIST에서 평균 테스트 로그 우도는 1.18 ± 0.02로, ConvCNP의 1.06 ± 0.04보다 높았다.
• D₈ 대칭성을 가진 모델이 가장 높은 성능을 기록하여 더 풍부한 대칭군이 일반화 능력을 향상시킨다는 것을 시사한다.
• 정성적 결과에서 SteerCNPs는 회전 시 일관된 예측을 유지하는 반면, 비등변 모델(예: ConvCNP)은 컨텍스트 세트가 회전될 경우 불안정한 출력을 생성한다.
• 외삽 작업에서 SteerCNPs는 예상치 못한 영역과 더 큰 캔버스로의 일반화 능력이 뛰어나며, 컨텍스트 포인트에서 멀리 떨어진 영역에서 노이즈가 적은 예측을 한다.
• 훈련 중 빈 이미지를 포함시킴으로써, 큰 빈 영역을 포함한 테스트 세트로의 일반화 능력이 향상되어 분포 이탈 문제를 줄였다.
• 등변성은 특히 회전 및 분포 이탈 상황에서 전이 학습 성능을 향상시키며, 물리적 인덕티브 바이어스의 타당성을 입증한다.