[논문 리뷰] Non-linear Multitask Learning with Deep Gaussian Processes

Ayman Boustati, Theodoros Damoulas외 1명|arXiv (Cornell University)|2019. 05. 29.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 13

한 줄 요약

이 논문은 공유 및 전용 잠재 과정를 비선형 맵핑을 통해 조합하는 Deep Gaussian Processes (DGPs)를 사용한 비선형 다중작업 학습 프레임워크를 제안한다. 이중 스토하스틱 변분 추론을 다중작업 DGP 환경에 확장하여, 복잡한 비선형 작업 관계를 포괄적으로 포착하고, 벤치마크 및 실세계 데이터셋에서 선형 다중작업 GP 모델과 신경망보다 뛰어난 성능을 보이며, 특히 데이터가 적은 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

We present a multi-task learning formulation for Deep Gaussian processes (DGPs), through non-linear mixtures of latent processes. The latent space is composed of private processes that capture within-task information and shared processes that capture across-task dependencies. We propose two different methods for segmenting the latent space: through hard coding shared and task-specific processes or through soft sharing with Automatic Relevance Determination kernels. We show that our formulation is able to improve the learning performance and transfer information between the tasks, outperforming other probabilistic multi-task learning models across real-world and benchmarking settings.

연구 동기 및 목표

• 기존의 다중작업 가우시안 프로세스 모델에서 선형 작업 의존성 가정의 한계를 해결하기 위해.
• 비선형이고 복잡한 관계에서 관련 작업 간의 효과적인 정보 전달을 가능하게 하기 위해.
• 불확실성 정량화를 지원하는 스케일러블하고 확률론적인 다중작업 학습 프레임워크를 개발하기 위해.
• 실용적인 계산 효율성을 확보하면서도 다중작업 DGP 추론을 지원하기 위해 변분 추론 기법을 확장하기 위해.
• 제한된 학습 데이터를 가진 실세계 및 벤치마크 데이터셋에서 모델의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 모델은 다중작업 데이터를 표현하기 위해 공유 및 작업별 전용 잠재 과정를 포함한 계층적 DGP 아키텍처를 사용한다.
• 최종 GP 레이어를 통해 공유 및 비공유 잠재 함수를 비선형적으로 조합함으로써 비선형 작업 관계를 모델링한다.
• 두 가지 세그멘테이션 전략을 제안한다: 공유 및 비공유 과정의 하드 코딩된 분리, Automatic Relevance Determination (ARD) 커널을 사용한 소프트 공유.
• 확장된 다중작업 이중 스토하스틱 변분 추론 프레임워크를 사용하여 대규모 데이터셋에서도 스케일러블한 학습을 수행한다.
• 재현 가능성을 위해 GPflow에 구현되어 GitHub에 공개되었다.
• 베이지안 비모수적 모델링을 통해 불확실성 정량화와 강건한 일반화를 지원한다.

실험 결과

연구 질문

• RQ1 딥 가우시안 프로세스 모델은 비선형 다중작업 학습에서 관련 작업 간의 비선형 관계를 효과적으로 포착할 수 있는가?
• RQ2 제안된 비선형 다중작업 DGP 설정은 선형 다중작업 GP 모델 대비 예측 성능 및 일반화 능력에서 어떻게 비교되는가?
• RQ3 공유 잠재 과정는 정보 전달을 통해 데이터가 적은 환경에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 변분 추론 방법은 비선형적이고 복잡한 의존성을 가진 실세계 다중작업 문제에 대해 효과적으로 스케일링되는가?
• RQ5 잠재 공간 세그멘테이션 전략(하드 공유 대비 소프트 공유)의 차이는 모델 성능과 해석 가능성에 어떻게 영향을 미치는가?

주요 결과

• 제안된 비선형 다중작업 DGP 모델은 복잡한 비선형 작업 의존성을 가진 시뮬레이션 토이 데이터셋에서 선형 다중작업 GP 모델(예: ICM-GP 및 코어지오널라이즈드 GP)을 뛰어넘는 성능을 보였다.
• FAIMS 당뇨병 진단 데이터셋에서, 모델은 세 개의 작업 평균 ROC-AUC 0.78을 달성하여 iRF 기준선(0.71)과 다른 GP 기반 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• sMDGP 및 mMDGP 버전은 개별 작업 AUC 최고 0.80을 기록했으며, 모든 작업에서 iGP, cGP 및 iDGP보다 일관되게 뛰어난 성능을 보였다.
• 모델은 UCI 벤치마크 데이터셋에서 뛰어난 일반화 능력과 선형 모델 대비 감소된 부정적 전이를 보이며 강건한 성능을 발휘했다.
• CPU에서 빠른 추론 시간을 기록하여 실세계 응용에 실용적인 프레임워크를 제공했다.
• FAIMS와 같은 희소하고 고차원 데이터에서 공유 잠재 과정를 통한 표현 학습과 정보 공유가 성능 향상에 결정적인 역할을 한다는 것이 입증되었다.