[논문 리뷰] Deep Distributional Sequence Embeddings Based on a Wasserstein Loss

Ahmed Abdel‐Wahab, Niels Landwehr|arXiv (Cornell University)|2019. 12. 04.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 깊이 학습된 특징의 분포를 시계열 전반에서 캡처하기 위해 분위수 층을 사용하는 분포적 순서 임베딩을 제안하며, 엔드 투 엔드 미터릭 학습을 위한 새로운 워셔스타인 기반 손실 함수를 도입한다. 제안된 방법은 눈동자 움직임, 보행, 뇌파 데이터에서 생체 인식 작업에서 표준 벡터 임베딩 및 기타 거리 측정법보다 뛰어난 성능을 보인다.

ABSTRACT

Deep metric learning employs deep neural networks to embed instances into a metric space such that distances between instances of the same class are small and distances between instances from different classes are large. In most existing deep metric learning techniques, the embedding of an instance is given by a feature vector produced by a deep neural network and Euclidean distance or cosine similarity defines distances between these vectors. In this paper, we study deep distributional embeddings of sequences, where the embedding of a sequence is given by the distribution of learned deep features across the sequence. This has the advantage of capturing statistical information about the distribution of patterns within the sequence in the embedding. When embeddings are distributions rather than vectors, measuring distances between embeddings involves comparing their respective distributions. We propose a distance metric based on Wasserstein distances between the distributions and a corresponding loss function for metric learning, which leads to a novel end-to-end trainable embedding model. We empirically observe that distributional embeddings outperform standard vector embeddings and that training with the proposed Wasserstein metric outperforms training with other distance functions.

연구 동기 및 목표

• 학습된 특징의 분포 패턴을 캡처할 수 있는 가변 길이 시계열을 위한 딥 미터릭 학습 프레임워크를 개발한다.
• 표준 벡터 임베딩의 한계를 해결하기 위해 시계열을 시간에 따라 분포로 표현한다.
• 분포적 임베딩의 엔드 투 엔드 학습을 가능하게 하기 위해 미분 가능한 워셔스타인 거리 기반 손실 함수를 사용한다.
• 특히 오픈 세트 및 소수 샘플 조건에서 생체 식별 및 검증 작업의 성능을 향상시킨다.
• 실제 생체 인식 데이터에서 분포적 임베딩이 표준 벡터 임베딩 및 기타 거리 측정법보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 깊이 학습된 특징 활성화의 경험적 분위수 함수를 근사하기 위해 분위수 층을 사용하여 각 시계열에 대해 분포적 임베딩을 생성한다.
• 각 시계열을 학습된 필터 활성화에 대한 분위수 추정 분포의 집합으로 표현함으로써 시간 패턴의 통계적 특성화를 가능하게 한다.
• 분포적 임베딩 레이어를 통한 기울기 흐름을 보장하기 위해 분위수 함수의 조각별 선형 근사를 사용한다.
• 임베딩 공간에서의 거리 측정법으로 분포적 임베딩 간의 워셔스타인 거리를 정의하며, 이는 활성화 공간의 기본 메트릭을 존중한다.
• 두 개의 조각별 선형 분위수 함수 간의 워셔스타인 거리에 대한 닫힌 형태의 해를 유도하여 효율적인 역전파를 가능하게 한다.
• 내부 클래스의 응집성과 외부 클래스의 분리도를 최적화하기 위해 워셔스타인 거리 기반의 대비 손실을 사용하여 전체 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 분위수 추정 특징 분포를 기반으로 한 분포적 임베딩이 딥 미터릭 학습에서 시계열 표현을 향상시킬 수 있는가?
• RQ2 분포적 임베딩 간의 거리 측정으로 워셔스타인 거리를 사용할 경우, 코사인 또는 유클리드와 같은 전통적인 거리 함수보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ3 가변 길이 시계열에서 생체 인식 작업에서 제안된 방법이 표준 벡터 기반 임베딩보다 어떻게 성능을 냈는가?
• RQ4 모델이 새로운 클래스로 일반화되고 오픈 세트 인식 시나리오에서 위조자(임포스터)를 다룰 수 있는 정도는 어느 정도인가?
• RQ5 분위수 층과 워셔스타인 손실을 사용할 경우, 눈동자 움직임, 보행, 뇌파와 같은 다양한 시계열 데이터 유형에서 일관된 성능 향상이 이루어지는가?

주요 결과

• 분위수 층을 기반으로 한 분포적 임베딩는 눈동자 움직임, 보행, 뇌파의 세 가지 데이터 도메인에서 모두 표준 벡터 임베딩보다 뚜렷이 뛰어난 성능을 보였다.
• EEG 도메인에서 n=5개의 테스트 시퀀스일 때, 제안된 워셔스타인 기반 손실(QP-WL)은 다음으로 좋은 베이스라인(QP-NPL) 대비 1-AUC를 최대 80%까지 감소시켰다.
• 보행 도메인에서 QP-WL은 모든 베이스라인보다 더 높은 식별 정확도와 다중 클래스 위조자에 대한 강건성을 확보했으며, 특히 등록된 사용자 수가 증가함에 따라 성능 향상이 두드러졌다.
• 데이터가 단순화된 경우(예: 시간 해상도 감소)에도 모델은 강력한 성능을 유지했으며, 동일한 단순화된 데이터에서 전문적인 미세눈동자 탐지 모델(Jager et al., 2019)보다 뛰어난 성능을 보였다.
• 최대 풀링 대비 분위수 층의 사용이 성능 향상에 기여했으며, 분류 기반 학습 대비 워셔스타인 손실을 통한 미터릭 학습이 추가로 성능 향상을 이끌었다.
• 모델은 새로운 클래스로의 일반화 능력이 뛰어나고 오픈 세트 시나리오에서 강건성을 확보했으며, 모든 도메인에서 위조자 탐지 측면에서 뚜렷한 이점이 있었다.