[논문 리뷰] Orthogonal Estimation of Wasserstein Distances

Mark Rowland, Jiri Hron외 4명|arXiv (Cornell University)|2019. 03. 09.

3D Shape Modeling and Analysis인용 수 16

한 줄 요약

이 논문은 정사원형 투영을 사용하여 고차원 구조를 유지하면서도 계산 효율성을 확보하는 새로운 변종인 투영 워셔스타인 거리( projected Wasserstein distance)를 소개한다. 이는 단일 차원 마진 분포에 의존하는 데서 비롯하는 낮은 근사 품질 문제를 해결하기 위해, 슬라이스 워셔스타인 거리의 계산 효율성과 전체 워셔스타인 거리의 정확성을 융합한다. 또한 몬테 카를로 추정에서 분산을 줄이기 위해 정사각형 결합(orthogonal coupling)을 제안하며, 생성 모델링 및 강화 학습 과제에서 더 높은 안정성과 성능 향상을 입증한다.

ABSTRACT

Wasserstein distances are increasingly used in a wide variety of applications in machine learning. Sliced Wasserstein distances form an important subclass which may be estimated efficiently through one-dimensional sorting operations. In this paper, we propose a new variant of sliced Wasserstein distance, study the use of orthogonal coupling in Monte Carlo estimation of Wasserstein distances and draw connections with stratified sampling, and evaluate our approaches experimentally in a range of large-scale experiments in generative modelling and reinforcement learning.

연구 동기 및 목표

• 일차원 마진 분포에 의존하는 데서 비롯하는 낮은 근사 품질 문제로 인해 약한 근사 품질을 보일 수 있는 슬라이스 워셔스타인 거리의 한계를 해결한다.
• 투영 벡터의 정사각형 결합을 활용하여 워셔스타인 거리의 몬테 카를로 추정의 효율성과 정확도를 향상시킨다.
• 고차원 구조를 유지하면서도 계산 가능성을 확보하는 새로운 중심 거리 척도인 투영 워셔스타인 거리를 개발한다.
• 정사각형 결합과 계층 표본 추출 간의 이론적 연결 고리를 확립하여, 분산 감소 성질을 정당화한다.
• 대규모 생성 모델링 및 강화 학습 벤치마크를 통해 제안된 방법의 실용적 이점을 실증적으로 평가한다.

제안 방법

• 다양한 정사각형 투영 방향을 사용하여 고차원 구조를 더 잘 포착할 수 있도록, 슬라이스 및 전체 워셔스타인 거리의 하이브리드인 투영 워셔스타인 거리를 제안한다.
• 투영 벡터가 상호 정사각형이 되도록 선택함으로써 몬테 카를로 샘플링에서 분산을 줄이는 정사각형 결합을 도입한다.
• 이론적 분석을 통해 정사각형 결합이 계층 표본 추출을 근사함을 보이며, 확률 공간의 균일한 커버리지가 가능하다.
• 정사각형 투영 방향을 사용하여 슬라이스 및 투영 워셔스타인 거리를 몬테 카를로 샘플링으로 추정함으로써 수렴성과 안정성을 향상시킨다.
• 정사각형 결합 추정기를 두 가지 응용 과제에 적용한다: GAN을 이용한 생성 모델링과 강화 학습에서의 정책 최적화.
• 강화 학습에서 페널티 기반 신뢰 영역 프레임워크를 사용하며, 정책 업데이트 제약 조건으로 KL 발산 또는 표준 워셔스타인 거리 대신 투영 워셔스타인 거리를 도입한다.

실험 결과

연구 질문

• RQ1 슬라이스 워셔스타인 거리의 계산 효율성은 유지하면서 근사 품질을 향상시킬 수 있는 새로운 워셔스타인 거리 변종을 설계할 수 있는가?
• RQ2 투영 방향의 정사각형 결합이 워셔스타인 거리의 몬테 카를로 추정기의 분산에 어떤 영향을 미치는가?
• RQ3 몬테 카를로 추정의 맥락에서 정사각형 결합과 계층 표본 추출 간의 이론적 관계는 무엇인가?
• RQ4 투영 워셔스타인 거리와 정사각형 결합의 사용이 생성 모델링에서 훈련 안정성과 성능 향상에 측정 가능한 영향을 미치는가?
• RQ5 정사각형 결합이 복잡한 역학을 가진 강화 학습에서 신뢰 영역 정책 최적화의 효과를 향상시킬 수 있는가?

주요 결과

• 다양한 정사각형 투영에서의 정보를 통합함으로써 표준 슬라이스 워셔스타인 거리보다 더 높은 근사 품질을 달성한다.
• 정사각형 결합은 몬테 카를로 추정기의 분산을 크게 감소시켜 더 안정적이고 정확한 거리 추정을 가능하게 한다.
• HalfCheetah에서 강화 학습을 수행한 결과, 투영 워셔스타인 신뢰 영역은 기준 방법 대비 더 높은 누적 보상과 더 안정적인 훈련을 보였다.
• Hopper에서는 역학이 더 단순하기 때문에 투영 워셔스타인 접근법의 이점이 덜 두드러졌으며, 이는 상황에 따라 달라지는 이점임을 시사한다.
• 정사각형 결합 방법은 실증적으로 계층 표본 추출의 효과적인 근사 형태임을 입증하며, 분산 감소 성질을 정당화한다.
• 생성 모델링에서 제안된 방법은 고차원 설정에서 더 안정적인 GAN 훈련을 가능하게 하며, 개선된 거리 추정 덕분이다.