[논문 리뷰] Cycle Consistent Probability Divergences Across Different Spaces

Zhengxin Zhang, Youssef Mroueh외 2명|arXiv (Cornell University)|2021. 11. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 4

한 줄 요약

이 논문은 서로 다른 거리 공간에 정의된 확률 분포 간의 이질성 측정을 위한 새로운 척도인 비대칭 이중 방향 Gromov-Monge(UBGM) 발산을 제안한다. 이는 두 개의 푸시포워드 맵을 통해 사이클 일致성과 등장사상 유지 성질을 강제함으로써 작동한다. UBGM은 커널화되어 일반화된 최대 평균 차이(GMMD)로 변환되며, 수렴 속도를 증명하고 새로운 데이터로의 일반화 성능을 입증함으로써 사이클 GAN의 이론적 기반을 제공하고 이질적 공간 간에 효율적이고 확장 가능한 매칭을 가능하게 한다.

ABSTRACT

Discrepancy measures between probability distributions are at the core of statistical inference and machine learning. In many applications, distributions of interest are supported on different spaces, and yet a meaningful correspondence between data points is desired. Motivated to explicitly encode consistent bidirectional maps into the discrepancy measure, this work proposes a novel unbalanced Monge optimal transport formulation for matching, up to isometries, distributions on different spaces. Our formulation arises as a principled relaxation of the Gromov-Haussdroff distance between metric spaces, and employs two cycle-consistent maps that push forward each distribution onto the other. We study structural properties of the proposed discrepancy and, in particular, show that it captures the popular cycle-consistent generative adversarial network (GAN) framework as a special case, thereby providing the theory to explain it. Motivated by computational efficiency, we then kernelize the discrepancy and restrict the mappings to parametric function classes. The resulting kernelized version is coined the generalized maximum mean discrepancy (GMMD). Convergence rates for empirical estimation of GMMD are studied and experiments to support our theory are provided.

연구 동기 및 목표

• 다른 상호작용 불가능한 거리 공간에 정의된 확률 분포 간의 이질성 측정 문제를 해결하기 위해.
• 양방향 일致성 매핑을 명시적으로 포함한 계산적으로 효율적이고 일반화 가능한 이질성 측정 척도를 개발하기 위해.
• 사이클 일치성 매핑을 체계적인 최적 운반 이론의 형태로 공식화함으로써 사이클 GAN에 대한 이론적 프레임워크를 제공하기 위해.
• 신경망과 같은 파rametric 모델과의 실용적 활용을 위해 이질성 측정을 커널화하여 확장 가능한 추정을 가능하게 하기 위해.
• 표본 기반 GMMD 추정의 수렴 속도를 규명하고, 새로운 데이터에 대한 일반화 성능을 검증하기 위해.

제안 방법

• Gromov-Hausdorff 거리의 일반화로 사이클 일치성과 등장사상 유지 성질을 갖는 두 개의 푸시포워드 맵을 사용하는 비대칭 이중 방향 Gromov-Monge(UBGM) 발산을 제안한다.
• 두 맵의 병합이 거리 구조를 약간 유지하도록 함으로써 사이클 일치성을 강제한다. 이는 일관된 대응 관계를 보장한다.
• 매핑을 파arametric 함수 클래스(예: 신경망)로 제한하고, UBGM을 커널화하여 일반화된 최대 평균 차이(GMMD)를 유도한다.
• 커널과 함수 클래스에 대한 정규성 조건 하에서 GMMD의 이중 표본 추정에 대한 수렴 속도를 도출한다.
• 암시적 추론(amortized inference)을 활용: 일부 데이터에 대해 학습하고, 학습된 맵을 새로운 데이터 포인트에 적용하여 일반화 성능을 평가한다.
• 시험 데이터에서 푸시포워드 맵의 품질을 정량적으로 평가하기 위해 극단 MMD와 차이 측도 Δ를 사용한다.

실험 결과

연구 질문

• RQ1 서로 다른 거리 공간에 정의된 분포 간에 양방향, 사이클 일치성 매핑을 명시적으로 포함하는 체계적인 이질성 측정 척도를 제안할 수 있는가?
• RQ2 Gromov-Wasserstein 거리를 어떻게 완화하여 효율적인 계산과 새로운 데이터 포인트로의 일반화를 가능하게 할 수 있는가?
• RQ3 제한된 데이터셋에서 학습한 후, 제안된 GMMD 프레임워크가 얼마나 잘 새로운 데이터로 일반화되는가?
• RQ4 표준 부드러움 및 커널 가정 하에서, 표본 기반 GMMD 추정의 이론적 수렴 속도는 무엇인가?
• RQ5 제안된 프레임워크는 실무에서 사이클 GAN의 성공을 어떻게 설명하고 관련이 있는가?

주요 결과

• 4000개의 훈련 포인트에서 학습한 후 8000개의 테스트 포인트에 대해 낮은 극단 MMD(예: <0.002)와 작은 Δ 값(예: <0.1)을 기록함으로써, 제안된 GMMD 프레임워크가 새로운 데이터로 잘 일반화됨을 입증하였다.
• 심장 및 임bedded 심장 데이터셋에서, λ=0.064일 때 GMMD 값이 0.00711로 나타났으며, MMD_X와 MMD_Y 모두 0.002 이하로 유지되어 강력한 극단 매칭을 보였다.
• 암시적 추론 실험에서 모든 테스트된 λ 값에 대해 낮은 이질성(Δ < 0.1)을 유지함으로써, 학습된 맵의 강건성과 일관성을 확인하였다.
• 표준 가정 하에서 표본 기반 GMMD 추정의 수렴 속도가 확립되어 신뢰할 수 있는 통계적 추론을 뒷받침한다.
• UBGM 발산이 사이클 GAN 프레임워크를 일반화함을 입증하였으며, 그 실용적 성공에 대한 이론적 설명을 제공한다.
• 실험 결과, 커널화된 GMMD 버전이 다양한 공간 간에 효율적이고 확장 가능한 매칭을 가능하게 하며, 강력한 일반화 성능과 낮은 계산 비용을 동시에 확보함을 확인하였다.