[논문 리뷰] Partial Optimal Transport with Applications on Positive-Unlabeled Learning

Laëtitia Chapel, Mokhtar Z. Alaya외 1명|arXiv (Cornell University)|2020. 02. 19.

Advanced Neural Network Applications참고 문헌 39인용 수 10

한 줄 요약

이 논문은 질량이 다를 경우를 다루기 위해 더미 포인트를 도입하여 부분 워셔스타인 및 그로모프-워셔스타인 최적 운반 문제에 대한 정확한 알고리즘을 제안한다. 이는 엔트로픽 정규화 없이도 희소하고 정확한 해를 도출할 수 있도록 한다. 이 방법은 비정규화된 엔트로피를 사용하지 않아도, 서로 다른 도메인 간에 존재하는 레이블이 없는 데이터에서 양성 샘플을 식별함으로써 효과적인 양성-부정성 학습(positive-unlabeled learning)을 가능하게 하며, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Classical optimal transport problem seeks a transportation map that preserves the total mass betwenn two probability distributions, requiring their mass to be the same. This may be too restrictive in certain applications such as color or shape matching, since the distributions may have arbitrary masses and/or that only a fraction of the total mass has to be transported. Several algorithms have been devised for computing partial Wasserstein metrics that rely on an entropic regularization, but when it comes with exact solutions, almost no partial formulation of neither Wasserstein nor Gromov-Wasserstein are available yet. This precludes from working with distributions that do not lie in the same metric space or when invariance to rotation or translation is needed. In this paper, we address the partial Wasserstein and Gromov-Wasserstein problems and propose exact algorithms to solve them. We showcase the new formulation in a positive-unlabeled (PU) learning application. To the best of our knowledge, this is the first application of optimal transport in this context and we first highlight that partial Wasserstein-based metrics prove effective in usual PU learning settings. We then demonstrate that partial Gromov-Wasserstein metrics is efficient in scenario where point clouds come from different domains or have different features.

연구 동기 및 목표

• 기존 최적 운반 문제에서 원천 및 목표 분포의 총 질량이 동일해야 한다는 제약 조건을 해결하기 위해.
• 부분 워셔스타인 및 그로모프-워셔스타인 문제에 대해 정확하고 정규화되지 않은 해를 개발하기 위해.
• 다른 거리 공간에 존재하는 분포가 있는 이질적인 환경에서도 양성-부정성 학습을 가능하게 하기 위해.
• 도메인 스트레스 또는 기능의 다름이 있는 상황에서 부분-그로모프-워셔스타인의 효과성을 입증하기 위해.
• 해석 가능성과 PU 학습 성능 향상을 위해 희소하고 정확한 운반 계획을 제공하기 위해.

제안 방법

• 더미 포인트를 도입하여 변량을 연장함으로써 부분 운반 문제를 정확한 해를 갖는 표준 워셔스타인 문제로 변환한다.
• 부분-그로모프-워셔스타인 문제를 해결하기 위해 프랭크-울프 알고리즘을 사용하며, 반복적인 부분-워셔스타인 계산에 기반한다.
• 비볼록 GW 문제의 수렴을 향상시키기 위해 워셔스타인 바리센터 기반 초기화를 적용한다.
• 운반 계획에 군집 제약 조건을 적용하여 전체 레이블이 없는 포인트를 더미 포인트에 할당함으로써 명확한 부정성 샘플 식별을 가능하게 한다.
• 운반 계획의 희소 구조를 활용하여 엔트로픽 정규화를 피하고 정확성을 유지한다.
• 운반 행렬을 활용하여 양성 클래스와 가장 유사한 레이블이 없는 포인트를 식별함으로써 PU 학습에서 레이블을 할당한다.

실험 결과

연구 질문

• RQ1 엔트로픽 정규화 없이도 정확한 부분 최적 운반 문제를 제안하고 해를 구할 수 있는가?
• RQ2 기존 방법들과 비교해 볼 때 부분 워셔스타인은 양성-부정성 학습에서 어떻게 성능을 내는가?
• RQ3 부분-그로모프-워셔스타인은 서로 다른 도메인에서 오는 분포나 기능이 다른 분포를 효과적으로 다룰 수 있는가?
• RQ4 더미 포인트와 군집 제약 조건의 사용이 PU 학습에서 부정성 샘플 식별에 어떻게 기여하는가?
• RQ5 다양한 데이터셋과 도메인 스트레스 상황에서 제안된 방법은 정확도와 강인성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 정확한 부분-워셔스타인 및 부분-그로모프-워셔스타인 방법은 모든 데이터셋에서 정확도 표준편차가 0.021 이하인 최신 기술 수준의 정확도를 달성한다.
• Mushrooms 데이터셋에서 이 방법은 정확도 51.8%를 기록했으며, 표준편차는 0.008로 매우 낮았다. 이는 기준 방법들을 능가하는 성능을 보였다.
• USPS 데이터셋에서는 정확도 16.7%를 기록했고, 표준편차가 0.004로 매우 낮아 높은 안정성을 보였다.
• 서피스 c → 서피스 d와 같은 도메인 간 전이 상황에서는 부분-그로모프-워셔스타인 방법이 다른 방법들보다 뚜렷이 뛰어난 성능을 보였으며, 표준편차 0.020, 정확도 0.013의 결과를 기록했다.
• 군집 제약 조건의 사용으로 부정성 샘플의 명확한 분리가 가능했으며, 운반 행렬을 통해 레이블이 없는 양성 샘플이 모두 더미 포인트에 할당된 것으로 확인되었다.
• 이 방법은 MNIST, Connect-4, Spambase 등 다양한 데이터셋에서 일관된 성능과 낮은 분산을 보이며 강인성을 입증했다.