[논문 리뷰] On Negative Transfer and Structure of Latent Functions in Multi-output Gaussian Processes

Moyan Li, Raed Al Kontar|arXiv (Cornell University)|2020. 04. 06.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다중 출력 가우시안 프로세스(MGP)를 위한 두 가지 확장 가능한 잠재 기능 구조를 제안하며, 부적절한 전이를 방지하기 위해 충분한 잠재 기능을 확보하면서도 파라미터 수를 관리 가능한 수준으로 유지한다. 정규화를 통해 관련 출력의 자동 선택이 가능해지며, 이로 인해 대규모 데이터셋에서도 성능을 유지할 수 있으며, 추정에 실패하는 고차원 파라미터 공간에서 표준 MGP보다 우수한 성능을 발휘한다.

ABSTRACT

The multi-output Gaussian process ($\mathcal{MGP}$) is based on the assumption that outputs share commonalities, however, if this assumption does not hold negative transfer will lead to decreased performance relative to learning outputs independently or in subsets. In this article, we first define negative transfer in the context of an $\mathcal{MGP}$ and then derive necessary conditions for an $\mathcal{MGP}$ model to avoid negative transfer. Specifically, under the convolution construction, we show that avoiding negative transfer is mainly dependent on having a sufficient number of latent functions $Q$ regardless of the flexibility of the kernel or inference procedure used. However, a slight increase in $Q$ leads to a large increase in the number of parameters to be estimated. To this end, we propose two latent structures that scale to arbitrarily large datasets, can avoid negative transfer and allow any kernel or sparse approximations to be used within. These structures also allow regularization which can provide consistent and automatic selection of related outputs.

연구 동기 및 목표

• 다중 출력 가우시안 프로세스(MGP)에서 출력 간 공유된 가정이 상호 관련성이 없는 경우 성능을 떨어뜨리는 부적절한 전이를 정의하고 이를 해결한다.
• 모든 커널 선택이나 추론 방법에 관계없이 부적절한 전이를 방지하기 위해 충분한 수의 잠재 기능(Q)이 필요하다는 것을 규명한다.
• Q를 증가시킬 경우 발생하는 계산 부담을 완화하기 위해 대규모 데이터셋에서 저차원 파라미터 추정이 가능한 두 가지 완화된 MGP 구조를 제안한다.
• 잠재 구조 내 정규화를 통해 관련 출력의 자동 선택을 가능하게 하여 일반화 능력과 모델 일관성을 향상시킨다.

제안 방법

• 각 출력이 고유한 잠재 기능에 연결된 화살표 머리 구성 방식을 사용하는 완화된 MGP 구조를 제안하며, 공유 파라미터를 최소화하면서도 출력 간 상관관계를 유지한다.
• 출력을 쌍으로 묶어 각 쌍이 하나의 잠재 기능을 공유하는 쌍별 MGP 구조를 도입함으로써 전체 MGP 대비 파라미터 수를 크게 감소시킨다.
• 초파rameter에 정규화 페널티를 적용하여 관련 출력의 일관되고 자동적인 선택을 가능하게 하여 과적합을 줄이고 일반화 능력을 향상시킨다.
• 유도 점을 사용한 변분 추론을 활용하여 모델을 대규모 데이터셋에 스케일링하면서도 계산 효율성을 유지한다.
• 함수의 컨볼루션 구성(f_i(x) = Σ_q K_qi(x) ⋇ X_q(x))를 적용하지만, 각 출력에 대해 활성 잠재 기능의 수를 제한하여 복잡도를 낮춘다.
• 희소 근사와 표준 커널을 완화된 구조 내에서 활용함으로써 융통성은 유지하면서도 고차원 추정을 피한다.

실험 결과

연구 질문

• RQ1 다중 출력 가우시안 프로세스에서 부적절한 전이를 방지하기 위해 어떤 조건을 충족시켜야 하는가?
• RQ2 모든 커널이나 추론 방법에 관계없이 충분한 수의 잠재 기능(Q)이 부적절한 전이를 방지할 수 있는가?
• RQ3 Q가 증가할 경우 파라미터 수가 급격히 증가하는 문제를 방지하기 위해 MGP 모델은 어떻게 구성할 수 있는가?
• RQ4 잠재 구조 내 정규화를 통해 관련 출력의 자동 선택이 가능할 수 있는가?
• RQ5 제안된 완화된 MGP 구조는 표준 MGP가 실패하는 대규모 데이터셋에서도 예측 성능을 유지하는가?

주요 결과

• 화살표 머리 및 쌍별 MGP 모델은 전체 MGP가 고차원 파라미터 추정으로 인해 실패할 수 있는 상황에서도 Q=20인 표준 MGP와 경쟁 가능한 예측 성능을 달성한다.
• N=50, Q=20 조건에서 표준 MGP는 추정에 약 24시간이 소요되었고 예측 성능도著격히 떨어졌지만, 쌍별 모델은 단지 약 30초 만에 처리되었다.
• N=50인 경우 쌍별 모델이 전체 MGP와 화살표 머리 모델보다도 더 뛰어난 성능을 보였는데, 이는 낮은 파라미터 차원 수 덕분에 더 나은 추정이 가능했기 때문이다.
• 실제 환율 데이터에서 쌍별 모델은 MXN/USD에 대해 MSE 0.040, KRW/USD에 대해 MSE 0.015를 기록했으며, Q=10인 MGP(각각 MSE 0.217 및 0.322)보다 뚜렷이 뛰어난 성능을 보였다.
• 표준 MGP가 작은 N을 초과하면 계산이 불가능해지는 것과 달리, 제안된 모델은 데이터셋 크기가 증가함에 따라 낮은 계산 비용과 높은 예측 정확도를 유지한다.
• 완화된 구조 내 정규화를 통해 관련 출력의 일관되고 자동적인 선택이 가능해져 일반화 능력 향상과 과적합 감소에 기여한다.