[논문 리뷰] Conditional Temporal Neural Processes with Covariance Loss

Boseon Yoo, Ji-Woo Lee외 4명|ArXiv.org|2025. 04. 01.

Neural Networks and Applications참고 문헌 23인용 수 7

한 줄 요약

이 논문은 신경망에서 학습된 기저 함수의 대상 변수 의존성을 강제하는 정규화 항인 Covariance Loss를 제안하며, 조건부 신경 과정과 일치하여 강건성을 개선하고 누락된 의존성을 포착한다.

ABSTRACT

We introduce a novel loss function, Covariance Loss, which is conceptually equivalent to conditional neural processes and has a form of regularization so that is applicable to many kinds of neural networks. With the proposed loss, mappings from input variables to target variables are highly affected by dependencies of target variables as well as mean activation and mean dependencies of input and target variables. This nature enables the resulting neural networks to become more robust to noisy observations and recapture missing dependencies from prior information. In order to show the validity of the proposed loss, we conduct extensive sets of experiments on real-world datasets with state-of-the-art models and discuss the benefits and drawbacks of the proposed Covariance Loss.

연구 동기 및 목표

• 조건부 신경 과정 원리를 구현하는 손실 함수를 제시한다.
• 기저 함수 공간이 대상 변수 간의 의존성을 반영하도록 한다.
• 현실 데이터에서 잡음 있는 관찰 및 누락된 의존성에 대한 강건성을 개선한다.
• STGCN 및 GWNET와 같은 시공간 모델 전반에 적용 가능성을 입증한다.

제안 방법

• Covariance Loss를 기저 함수 공분산과 대상 변수 공분산 사이의 공분산 정규화 항과 예측 손실 MSE의 합으로 정의한다.
• 기저 함수를 Φ(X)로 모델링하고 선형 회귀 프레임워크 f(X)=Φ(X)w+ε를 통해 예측과 연관시킨다.
• 학습된 기저 함수 공간을 대상 변수 의존성과 정렬시켜 Covariance Loss를 조건부 신경 과정과 연결한다.
• Covariance Loss를 시공간 모델(STGCN, GWNET)에 적용하여 벤치마크 교통 데이터 세트에서 강건성과 의존성 포착을 평가한다.
• 계산적 고려사항과 Wishart 거리 및 가우시안 프로세스 원리와의 연결에 대해 논의한다.
• Covariance Loss가 대상 의존성을 반영하도록 기저 함수 공간을 재구성하는 방법을 보여주는 정성적/정량적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 손실에 공분산 기반 정규화를 포함시키는 것이 학습된 기저 함수 공간에 어떤 영향을 미치는가?
• RQ2 Covariance Loss가 가우시안 프로세스나 조건부 신경 과정과 유사하게 대상 변수 간의 의존성을 반영하도록 신경망 구조를 가능하게 할 수 있는가?
• RQ3 Covariance Loss가 시공간 예측 작업에서 잡음 있는 관찰 및 누락된 의존성에 대한 강건성을 개선하는가?
• RQ4 실세계 교통 데이터 세트에서 Covariance Loss로 학습된 STGCN과 GWNET은 어떻게 작동하는가?
• RQ5 학습에서 대상 의존성 공분산을 강제할 때의 트레이드오프와 잠재적 실패 사례는 무엇인가?

주요 결과

• Covariance Loss는 기저 함수가 대상 변수 의존성을 반영하도록 이끌며, 입력 평균 활성화만이 아닌 대상 공분산과 일치한다.
• Covariance Loss(STGCN-Cov, GWNET-Cov)로 학습된 모델은 기준선과 비교하여 단기 및 중기 교통 예측 지표가 개선되었다.
• Covariance Loss는 잡음 있는 관찰 및 잘 연결되지 않은 의존성에 대한 강건성을 강화하며 출퇴근 시간과 같은 이벤트를 조기에 감지하는데 뚜렷한 성과를 보인다.
• 분류 작업에서 Covariance Loss는 MNIST 및 CIFAR-10급 데이터셋에서 RMSE 기반 기준선에 비해 정확도를 향상시킨다.
• CNP 스타일 설정에서 Covariance Loss는 경쟁력 있는 RMSE를 보이고 평균 활성화보다 의존성에 초점을 맞춤으로써 예측 안정성을 향상시킬 수 있다.