[논문 리뷰] Learning from Conditional Distributions via Dual Kernel Embeddings.

Bo Dai, Niao He외 3명|arXiv (Cornell University)|2016. 07. 15.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 6

한 줄 요약

이 논문은 이중 커널 임bedding를 사용하여 조건부 분포로부터 학습하기 위한 새로운 최소-최대 최적화 프레임워크를 제안한다. 이는 조건부 분포당 한 개 또는 소수의 샘플만 존재하는 경우에도 효과적인 함수 근사가 가능하게 한다. 이 방법은 거울 강하 스토하스틱 근사법을 통해 연합 분포 커널 임베딩을 추정하여 정책 평가 및 불변 표현 학습에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In many machine learning problems, such as policy evaluation in reinforcement learning and learning with invariance, each data point $x$ itself is a conditional distribution $p(z|x)$, and we want to learn a function $f$ which links these conditional distributions to target values $y$. The learning problem becomes very challenging when we only have limited samples or in the extreme case only one sample from each conditional distribution $p(z|x)$. Commonly used approaches either assume that $z$ is independent of $x$, or require an overwhelmingly large sample size from each conditional distribution. To address these challenges, we propose a novel approach which reformulates the original problem into a min-max optimization problem. In the new view, we only need to deal with the kernel embedding of the joint distribution $p(z,x)$ which is easy to estimate. Furthermore, we design an efficient learning algorithm based on mirror descent stochastic approximation, and establish the sample complexity for learning from conditional distributions. Finally, numerical experiments in both synthetic and real data show that our method can significantly improve over the previous state-of-the-arts.

연구 동기 및 목표

• 각 분포당 하나 또는 소수의 샘플만 존재할 때 조건부 분포로부터 함수를 학습하는 데 도전하는 것.
• 기존 방법들이 z와 x 간의 독립성을 가정하거나 큰 샘플 크기를 요구하는 한계를 극복하는 것.
• 정책 평가 및 불변 학습과 같은 문제에 대해 샘플 효율적인 학습 프레임워크를 개발하는 것.
• 실제 추정이 가능한 연합 분포의 커널 임베딩을 통해 문제를 공식화하는 것.
• 제한된 데이터 하에서 조건부 분포로부터의 학습에 대한 이론적 샘플 복잡도 경계를 설정하는 것.

제안 방법

• 연합 분포 p(z,x)의 이중 커널 임베딩에 대한 최소-최대 최적화 문제로 학습 문제를 재구성하는 것.
• 제한된 데이터에서 추정 가능하고 더 강건한 연합 분포 p(z,x)를 커널 임베딩으로 표현하는 것.
• 최소-최대 최적화 문제를 효율적으로 해결하기 위해 거울 강하 스토하스틱 근사법을 적용하는 것.
• 조건부 독립성에 대한 가정 없이 관측된 샘플에서 직접 p(z,x)의 커널 임베딩을 추정하는 것.
• 레프레젠터 정리(Representer Theorem)를 활용하여 해를 커널 함수의 형태로 표현함으로써 계산의 스케일러빌리티를 확보하는 것.
• 이중 변수 최적화와 함수 추정 갱신을 번갈아 가며 수행하는 반복 알고리즘을 설계하는 것.

실험 결과

연구 질문

• RQ1 각 x당 하나의 샘플만 존재할 때 조건부 분포 p(z|x)를 목표 값 y로 매핑하는 함수 f를 학습할 수 있는가?
• RQ2 기존 접근법이 악영향을 미치는 z와 x 간의 강력한 독립성 가정을 어떻게 피할 수 있는가?
• RQ3 제한된 데이터 하에서 조건부 분포로부터의 학습에 대한 이론적 샘플 복잡도는 무엇인가?
• RQ4 정책 평가 및 불변 표현 학습에서 최신 기술 수준의 방법보다 더 나은 성능을 달성할 수 있는가?
• RQ5 자료 부족 조건에서 제안된 이중 커널 임베딩 프레임워크가 기존 베이스라인과 비교해 실제로 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 합성 및 실세계 실험 모두에서 이전 최신 기술 수준의 방법보다 뚜렷이 뛰어난 성능을 보이며, 특히 자료 부족 조건에서 두각을 나타낸다.
• 이 방법은 조건부 분포당 하나의 샘플만 존재하는 경우에도 안정적이고 정확한 함수 추정을 달성한다.
• 이론적 분석을 통해 유리한 샘플 복잡도 경계를 확립하여 자료 사용의 효율성을 입증한다.
• 강화 학습 정책 평가 과제에서 베이스라인 대비 개선된 성능을 보여주는 경험적 결과가 도출되었다.
• 거울 강하 스토하스틱 근사 알고리즘이 신뢰성 있게 수렴하고 고차원 설정으로도 효과적으로 스케일링된다.