[논문 리뷰] Fast Tree Variants of Gromov-Wasserstein

Tam Le, Nhat Ho외 1명|arXiv (Cornell University)|2019. 10. 10.

Human Pose and Action Recognition참고 문헌 41인용 수 5

한 줄 요약

이 논문은 루트에서 리프로의 흐름을 통해 확률 측도를 모델링하기 위해 트리 구조적 거리 척도를 활용하는 Gromov-Wasserstein(GW)의 두 가지 효율적인 트리 기반 변종인 Flow-based Tree GW (FlowTGW)와 Depth-based Tree GW (DepthTGW)를 제안한다. 트리 구조를 활용함으로써 두 방법 모두 GW의 계산 복잡도를 감소시키고 이론적 보장을 유지하면서도 빠르고 확장 가능한 계산을 달성한다.

ABSTRACT

Gromov-Wasserstein (GW) is a powerful tool to compare probability measures whose supports are in different metric spaces. GW suffers however from a computational drawback since it requires to solve a complex non-convex quadratic program. We consider in this work a specific family of ground metrics, namely extit{tree metrics} for a space of supports of each probability measure in GW. By leveraging a tree structure, we propose to use extit{flows} from a root to each support to represent a probability measure whose supports are in a tree metric space. We consequently propose a novel tree variant of GW, namely flow-based tree GW (\FlowTGW), by matching the flows of the probability measures. We then show that \FlowTGW~shares a similar structure as a univariate optimal transport distance. Therefore, \FlowTGW~is fast for computation and can scale up for large-scale applications. In order to further explore tree structures, we propose another tree variant of GW, namely depth-based tree GW (\DepthTGW), by aligning the flows of the probability measures hierarchically along each depth level of the tree structures. Theoretically, we prove that both \FlowTGW~and \DepthTGW~are pseudo-distances. Moreover, we also derive tree-sliced variants, computed by averaging the corresponding tree variants of GW using random tree metrics, built adaptively in spaces of supports. Finally, we test our proposed discrepancies against other baselines on some benchmark tasks.

연구 동기 및 목표

• 지지 공간 내의 트리 구조적 거리 척도를 활용하여 Gromov-Wasserstein(GW)의 높은 계산 비용을 해결한다.
• 이론적으로 타당성을 유지하면서 대규모 응용에 적합한 효율적인 GW 변종을 개발한다.
• GW 계산을 단순화하기 위해 트리 거리 척도 상에서 확률 측도의 계층적 및 유량 기반 표현을 탐색한다.
• 적응적으로 트리 거리 척도를 샘플링하여 강건성과 일반화 능력을 향상시키는 트리 슬라이스 변종을 제안한다.
• 기본 작업 세트에서 제안된 방법의 확장성과 효능을 입증한다.

제안 방법

• 루트에서 각 지지점까지의 흐름 표현을 사용하여 트리 거리 척도 공간에서 확률 측도를 모델링한다.
• 두 확률 측도의 흐름을 매칭함으로써 FlowTGW를 도입하여 GW를 단변량 최적 운반 유사한 구조로 감소시킨다.
• 트리의 각 깊이 수준에서 흐름을 계층적으로 정렬함으로써 DepthTGW를 설계하여 구조적이고 단계별 비교를 가능하게 한다.
• FlowTGW와 DepthTGW가 모두 의사거리임을 증명하여 이론적 타당성을 확보한다.
• 임의로 생성된 트리 거리 척도를 기반으로 다수의 FlowTGW 및 DepthTGW 계산을 평균화하여 트리 슬라이스 변종을 구축한다.
• 트리 구조를 활용하여 GW 문제를 더 다룰 수 있는 형태로 단순화하여 신속한 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 트리 구조적 거리 척도를 사용하여 Gromov-Wasserstein의 계산 비용을 크게 감소시킬 수 있으며, 이와 동시에 이론적 성질을 유지할 수 있는가?
• RQ2 트리 상의 흐름으로서 확률 측도를 모델링할 경우, GW 기반 비교의 정확도와 확장성에 어떤 영향을 미치는가?
• RQ3 트리 구조에서의 계층적 깊이 수준 정렬이 더 구조적이고 효율적인 GW 변종을 이끌 수 있는가?
• RQ4 제안된 GW 방법의 트리 슬라이스 변종이 벤치마크 작업에서 강건성과 성능을 향상시키는가?
• RQ5 FlowTGW와 DepthTGW가 트리 기반 표현 하에서 의사거리 성질을 어느 정도 유지하는가?

주요 결과

• FlowTGW와 DepthTGW는 모두 의사거리로 증명되어 있어 이론적 일관성이 보장된다.
• 유량 및 깊이 구조를 활용한 트리 기반 표현으로 인해 GW의 복잡도가 감소하여 빠른 계산이 가능해진다.
• 두 방법 모두 단변량 최적 운반 유사한 구조 덕분에 대규모 응용에 효율적으로 확장된다.
• 다양한 랜덤 트리 거리 척도를 기반으로 한 평균화를 통해 트리 슬라이스 변종이 성능을 향상시키며 강건성이 향상된다.
• 벤치마크 작업에서의 실증 평가를 통해 제안된 방법의 효과성과 기존 베이스라인 대비 경쟁력이 확인되었다.