[논문 리뷰] Partial Gromov-Wasserstein with Applications on Positive-Unlabeled Learning.

Laëtitia Chapel, Mokhtar Z. Alaya외 1명|arXiv (Cornell University)|2020. 02. 19.

Advanced Neural Network Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 질량이 다를 경우나 서로 다른 거리 공간에 있는 확률 분포 간의 비교를 가능하게 하는 새로운 최적 운반 설정인 부분 Gromov-Wasserstein(PGW) 프레임워크를 소개한다. 이는 고전적 Gromov-Wasserstein의 한계를 극복한다. 이 방법은 특히 교차 도메인 또는 특징 불일치가 있는 포인트 클러스터 환경에서 효과적인 양성-부정성(PU) 학습을 가능하게 하며, 실험 결과 표준 Wasserstein 및 Gromov-Wasserstein 기준선 대비 뛰어난 성능을 보인다.

ABSTRACT

Optimal Transport (OT) framework allows defining similarity between probability distributions and provides metrics such as the Wasserstein and Gromov-Wasserstein discrepancies. Classical OT problem seeks a transportation map that preserves the total mass, requiring the mass of the source and target distributions to be the same. This may be too restrictive in certain applications such as color or shape matching, since the distributions may have arbitrary masses or that only a fraction of the total mass has to be transported. Several algorithms have been devised for computing unbalanced Wasserstein metrics but when it comes with the Gromov-Wasserstein problem, no partial formulation is available yet. This precludes from working with distributions that do not lie in the same metric space or when invariance to rotation or translation is needed. In this paper, we address the partial Gromov-Wasserstein problem and propose an algorithm to solve it. We showcase the new formulation in a positive-unlabeled (PU) learning application. To the best of our knowledge, this is the first application of optimal transport in this context and we first highlight that partial Wasserstein-based metrics prove effective in usual PU learning settings. We then demonstrate that partial Gromov-Wasserstein metrics is efficient in scenario where point clouds come from different domains or have different features.

연구 동기 및 목표

• Gromov-Wasserstein 불일치에 대한 부분 설정이 부족한 문제를 해결함으로써, 비균형 또는 불일치하는 분포에 대한 적용을 제한하는 문제를 해결한다.
• 총 질량이 동일하거나 동일한 거리 공간이 아니어도 되는 최적 운반 기반 유사도 측정법을 가능하게 한다.
• 부분 Gromov-Wasserstein 거리 계산을 위한 확장 가능한 알고리즘을 개발하여, 양성-부정성 학습 응용 분야를 지원한다.
• 다른 도메인에서 온 포인트 클러스터이거나 특징이 다를 경우의 상황에서 부분 Gromov-Wasserstein의 효과성을 입증한다.
• 최적 운반을 사용한 양성-부정성 학습에서의 첫 응용을 확립한다. 이는 부분 운반 측정 기반이다.

제안 방법

• 고전적 Gromov-Wasserstein의 질량 보존 조건을 완화하여 총 질량의 일부만 운반되도록 하는 부분 Gromov-Wasserstein 설정을 제안한다.
• 계산 효율성을 높이기 위해 엔트로피 정규화를 통합한 변분 최적화 프레임워크를 도입하여 부분 Gromov-Wasserstein 거리를 계산한다.
• 비균형 운반을 처리하기 위해 이중 설정을 사용하여, 임의의 질량을 가진 분포에서도 작동할 수 있도록 한다.
• 이동 및 회전에 대해 불변성을 가지는 특성을 활용하여, PU 학습 파ipeline에서 유사도 측정으로 부분 Gromov-Wasserstein 거리를 적용한다.
• 하류 분류 작업에 적합한 엔드 투 엔드 학습 환경에서 운반 계획을 미분 가능하게 최적화하는 방법을 적용한다.
• 합성 및 실제 포인트 클러스터 데이터를 대상으로 방법을 검증하여, 표준 Wasserstein 및 Gromov-Wasserstein 기준선과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 질량이 다를 경우나 서로 다른 거리 공간에 있는 분포를 다룰 수 있도록 Gromov-Wasserstein 불일치에 대한 부분 설정을 유도할 수 있는가?
• RQ2 표준 최적 운반 기준선 대비 부분 Gromov-Wasserstein 거리 측정법이 양성-부정성 학습에서 어떻게 성능을 발휘하는가?
• RQ3 교차 도메인 또는 특징 불일치가 있는 포인트 클러스터 상황에서 부분 Gromov-Wasserstein 거리 측정법이 일반화 성능을 얼마나 향상시키는가?
• RQ4 이러한 방법이 포인트 클러스터 데이터에서 회전 및 이동 불변성에 대해 얼마나 강건한가?
• RQ5 부분 Gromov-Wasserstein을 효과적으로 PU 학습 프레임워크에 통합하여 분류 정확도 향상을 이룰 수 있는가?

주요 결과

• 부분 Gromov-Wasserstein 거리 측정법은 특히 질량이 불균형하거나 불일치하는 분포가 있는 상황에서 표준 Wasserstein 및 Gromov-Wasserstein 기준선을 능가하는 성능을 보였다.
• 이 방법은 강력한 회전 및 이동 불변성을 보이며, 교차 도메인 포인트 클러스터 매칭에 적합하다.
• 실험 결과, 부분 Gromov-Wasserstein는 전체 질량 운반 설정 대비 PU 학습 벤치마크에서 더 높은 분류 정확도를 달성하였다.
• 엔트로피 정규화를 통해 고차원 및 대규모 포인트 클러스터 데이터에 대해 효과적으로 확장 가능하며, 계산 가능성을 유지한다.
• 부분 운반 측정 기반 최적 운반의 첫 응용이 확립되었으며, 합성 및 실제 세계 설정 모두에서 뚜렷한 성능 향상을 보였다.
• 부분 Gromov-Wasserstein 프레임워크는 동일한 거리 공간에 있지 않은 분포 간의 의미 있는 유사도 계산을 가능하게 하여, 최적 운반 응용의 범위를 넓혔다.