[논문 리뷰] Noise Contrastive Meta-Learning for Conditional Density Estimation using Kernel Mean Embeddings

Jean-François Ton, Lucian Chan외 2명|arXiv (Cornell University)|2019. 06. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 6

한 줄 요약

이 논문은 재생 힐버트 공간 내에서 노이즈 대비 추정과 커널 평균 임베딩을 결합한 메타학습 프레임워크인 MetaCDE를 제안한다. 입력 변수와 출력 변수에 대한 신경망 특징 매핑을 학습시켜 다중모달성 및 이방성 조건부 밀도를 효과적으로 포착하며, 합성 데이터, 뉴욕 택시 데이터, 라마찬드란 플롯 데이터셋에서 표준 방법에 비해 로그우도 측면에서 뚜렷한 향상을 이룬다. 특히 저자료 환경에서 성능 향상이 두드러진다.

ABSTRACT

Current meta-learning approaches focus on learning functional representations of relationships between variables, i.e. on estimating conditional expectations in regression. In many applications, however, we are faced with conditional distributions which cannot be meaningfully summarized using expectation only (due to e.g. multimodality). Hence, we consider the problem of conditional density estimation in the meta-learning setting. We introduce a novel technique for meta-learning which combines neural representation and noise-contrastive estimation with the established literature of conditional mean embeddings into reproducing kernel Hilbert spaces. The method is validated on synthetic and real-world problems, demonstrating the utility of sharing learned representations across multiple conditional density estimation tasks.

연구 동기 및 목표

• 표준 메타학습 방법이 조건부 기대값에만 집중하여 변수 간 다중모달성 또는 이방성 관계를 모델링하지 못하는 한계를 해결하기 위해.
• 다양한 관련 작업 간 공유 표현을 활용하여 저자료 환경에서도 효과적인 조건부 밀도 추정을 가능하게 하는 방법을 개발하기 위해.
• 이전에 조건부 기대값 추정에 사용된 조건부 평균 임베딩을 노이즈 대비 추정을 통해 전체 밀도 추정으로 확장하기 위해.
• 표준 회귀가 실패하는 분자의 이황각 및 택시 하차 패턴과 같은 복잡한 기대값 기반 관계가 아닌 관계를 모델링하기 위해.
• 메타학습을 통해 학습된 신경망 특징 매핑이 고변동성, 저표본 설정에서 조건부 밀도 구조를 효과적으로 표현할 수 있음을 보여주기 위해.

제안 방법

• 메소드는 재생 힐버트 공간(RKHS) 내에서 조건부 분포를 커널 평균 임베딩(KME)으로 표현하여 비모수적 조건부 밀도 추정을 가능하게 한다.
• 노이즈 대비 추정(NCE)을 적용하여 진짜 데이터 쌍과 가짜 샘플을 구분하며, 이진 분류 설정에서 $y$의 조건부 KME를 특징으로 사용한다.
• KME를 정의하는 데 사용되는 신경망 $\phi_x$ 및 $\phi_y$의 특징 매핑을 학습시켜 밀도 추정을 위한 표현을 엔드 투 엔드로 최적화한다.
• 메타학습 프레임워크는 여러 개의 소규모 데이터셋에서 학습되며, 각 작업은 표현 학습을 위한 컨텍스트 세트와 평가를 위한 타겟 세트로 구성되어 있어, 새로운 소규모 데이터셋으로의 일반화를 보장한다.
• 모델은 진짜와 노이즈 생성된 $(x,y)$ 쌍을 구분하는 분류기로 조건부 밀도 $p(y|x)$를 추정하며, 이때 $y$의 조건부 KME를 입력으로 사용한다.
• 메타 최적화 목표는 NCE 목표를 여러 작업에 걸쳐 최대화하기 위해 신경망 특징 매핑 $\phi_x^\theta$, $\phi_y^\theta$, 그리고 편향 항 $b_\theta$를 업데이트하는 데 사용된다.

실험 결과

연구 질문

• RQ1 작은 양의 데이터만 각 작업당 제공될 경우, 메타학습 프레임워크가 복잡한 다중모달 조건부 밀도를 효과적으로 추정할 수 있는가?
• RQ2 노이즈 대비 추정이 커널 평균 임베딩과 효과적으로 조합되어 미분 가능하고 확장 가능한 조건부 밀도 추정을 가능하게 할 수 있는가?
• RQ3 입력과 출력에 대한 공유된 신경망 특징 매핑을 학습시키는 것이 표준 방법에 비해 저자료 조건부 밀도 추정에서 일반화 성능을 향상시키는가?
• RQ4 제안된 방법이 표준 회귀가 실패하는 실세계 데이터, 예를 들어 택시 하차 위치나 분자의 이황각과 같은 다중모달 구조를 포착할 수 있는가?
• RQ5 이 방법은 분포 이동에 대해 강건하며, 알려지지 않은 입력 위치나 분자 조각으로의 일반화가 가능한가?

주요 결과

• MetaCDE는 다중모달 조건부 분포를 가진 합성 데이터에서 표준 밀도 추정 방법에 비해 유의미하게 높은 테스트 로그우도를 달성했다.
• 뉴욕 택시 데이터셋에서, MetaCDE는 50개의 새로운 픽업 위치에 대해 모든 베이스라인보다 로그우도에서 뛰어난 성능을 보였으며, 일측 위어코크슨 검정을 통해 통계적으로 유의미한 향상이 확인되었다.
• 분자 구조물의 라마찬드란 플롯에서, MetaCDE는 특징적인 이중모달(두 개의 평행선) 구조를 성공적으로 포착했고, 다른 방법들은 양쪽 모드를 모두 모델링하지 못했다.
• 표준 밀도 추정기들이 다중모달성으로 인해 실패하는 1차원 및 2차원 문제에서, MetaCDE는 각 작업당 단지 50개의 훈련 포인트만으로도 강건한 성능을 보였다.
• 제거 실험을 통해 메타학습, NCE, 커널 평균 임베딩의 조합이 성능 향상에 필수적이며, 각 구성 요소가 밀도 추정 향상에 기여하는 것으로 확인되었다.
• 택시 및 분자 데이터에서 둘 다 새로운 입력 위치로의 일반화 성능이 뛰어나, 작업 간 통계적 강도의 효과적인 전이가 이루어졌음을 시사한다.