[논문 리뷰] Gaussian Process Latent Variable Alignment Learning

Carl Henrik Ek, Ieva Kazlauskaite외 1명|arXiv (Cornell University)|2018. 03. 07.

Gaussian Processes and Bayesian Inference참고 문헌 41인용 수 5

한 줄 요약

이 논문은 비모수적 가우시안 프로세스 사전분포를 통해 워핑 함수를 모델링함으로써, 비지도 학습 방식으로 순차적 데이터의 시간적 정렬과 군집 그룹화를 동시에 학습하는 가우시안 프로세스 잠재변수모델(GP-LVM)을 제안한다. 이 방법은 탄력적이고 해석 가능한 정규화를 제공하는 유연한 정렬을 가능하게 하여, 다양한 시퀀스 유형의 동시에 정렬 및 군집화에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

We present a model that can automatically learn alignments between high-dimensional data in an unsupervised manner. Our proposed method casts alignment learning in a framework where both alignment and data are modelled simultaneously. Further, we automatically infer groupings of different types of sequences within the same dataset. We derive a probabilistic model built on non-parametric priors that allows for flexible warps while at the same time providing means to specify interpretable constraints. We demonstrate the efficacy of our approach with superior quantitative performance to the state-of-the-art approaches and provide examples to illustrate the versatility of our model in automatic inference of sequence groupings, absent from previous approaches, as well as easy specification of high level priors for different modalities of data.

연구 동기 및 목표

• 다양한 시간 지연과 단계 이동을 가진 고차원 순차적 데이터를 정렬하는 과제를 해결하며, 특히 한 개의 데이터셋에 여러 다른 시퀀스 유형이 동시에 존재할 경우에 대비한다.
• DTW와 같은 전통적 이원정렬 방법의 한계를 극복하며, 이는 局부적이고 비볼록적이며 전반적인 구조나 군집을 포착하지 못한다는 점이다.
• 사전에 시퀀스 유형을 그룹화하지 않아도 동시 정렬과 군집화를 가능하게 하여 완전히 비지도 학습을 달성한다.
• 관측된 데이터를 직접 생성 과정을 통해 모델링하는 원리적인 확률론적 프레임워크를 제공함으로써 노이즈 거부 및 일반화 능력 향상을 도모한다.
• 히우리스틱하거나 파rametric 워핑 함수를 대체로 연속적이고 비모수적 가우시안 프로세스 사전분포를 사용하여 탄력적이고 해석 가능하며 정규화된 워핑을 지원한다.

제안 방법

• 잠재공간이 정렬 및 군집화 구조를 모두 캡처하는 가우시안 프로세스 잠재변수모델(GP-LVM)을 사용하여 관측된 시퀀스를 모델링한다.
• 각 시퀀스에 대해 비모수적이고 연속적인 워핑 함수를 가우시안 프로세스 사전분포를 통해 도입함으로써 탄력적이고 부드러운 시간 변형을 가능하게 한다.
• 모든 시퀀스 간에 공통된 워핑 함수 사전분포를 사용하여 일관성을 확보하고 전역적 정렬 제약 조건을 허용한다.
• 확률론적 베이지안 프레임워크를 도입하여 하나의 생성 모델 안에서 잠재변수, 워핑 함수, 군집 할당을 동시에 추론한다.
• 심장박동과 같은 신호에서 고주파 노이즈를 다루기 위해 Matérn 3/2 커널을 적용한다. 이는 급격한 시간 변화를 유지하면서도 노이즈를 효과적으로 억제한다.
• 변분 추론을 적용하여 잠재변수와 워핑 함수의 사후분포를 근사함으로써 확장 가능한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 확률론적 모델이 다양한 시퀀스 유형의 시간적 정렬과 군집 그룹화를 동시에 비지도 방식으로 학습할 수 있는가?
• RQ2 비모수적 가우시안 프로세스를 통해 워핑 함수를 모델링할 경우, 파arametric 또는 최적화 기반 방법에 비해 정렬 품질이 어떻게 향상되는가?
• RQ3 사전 지식이나 사전 처리 없이도 모델이 진정한 기저 시퀀스 그룹화를 어느 정도 회복할 수 있는가?
• RQ4 워핑 함수에 해석 가능한 구조적 사전분포를 적용할 경우, 제약 없거나 히우리스틱 대안에 비해 더 정확하고 안정적인 정렬을 이끌 수 있는가?
• RQ5 정렬된 데이터로부터 매끄럽고 저차원의 다양체를 학습함으로써, 새로운 정렬에 더 잘 일반화할 수 있는가?

주요 결과

• 제안된 방법은 복잡한 다중 유형 시퀀스 데이터셋을 다룰 때 최신 기술보다 정량적 지표에서 뛰어난 성능을 보였다.
• CMU 운동 캡처 데이터에서 사전 그룹화 없이도 세 가지의 명확한 운동 유형(예: 스윙, 퍼팅, 볼 배치)을 성공적으로 탐지하고 군집화하였다.
• 심장박동 데이터에서는 정상과 비정상 유형의 두 가지 다른 심장음 유형을 시간 패턴 기반으로 정렬 및 군집화를 통해 자동으로 식별하였다.
• 모델이 추론한 워핑 함수는 SRVF 기반 방법이 생성하는 왜곡되고 예측 불가능한 워핑과는 달리 진정한 기저 시간 변환과 매우 유사하게 나타났다.
• 정렬 후의 GP-LVM 다각체는 더 명확한 군집 분리와 더 부드러운 전환을 보여주어 잠재공간에서 더 낮은 분산과 더 나은 일반화 능력을 나타냈다.
• Matérn 3/2 커널의 사용은 심장음 신호에서 임상적으로 중요한 신호 역학을 유지하면서도 고주파 노이즈를 효과적으로 억제하였다.