[논문 리뷰] Flow-based Alignment Approaches for Probability Measures in Different Spaces

Tam Le, Nhat Ho외 1명|arXiv (Cornell University)|2019. 10. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 64인용 수 4

한 줄 요약

이 논문은 쌍방의 거리 대신 나무 구조를 가진 플로우를 활용하여 서로 다른 거리 공간에 있는 확률 측도를 비교하기 위한 새로운 불일치도인 FlowAlign와 DepthAlign를 제안한다. 루트에서 각 지지점으로의 플로우를 정렬함으로써, 이 방법들은 단일 변수 최적 운반과 유사한 빠르고 확장 가능한 계산을 달성하며, 의사거리로서의 이론적 보장과 벤치마크 과제에서의 경험적 슈퍼리어리티를 제공한다.

ABSTRACT

Gromov-Wasserstein (GW) is a powerful tool to compare probability measures whose supports are in different metric spaces. GW suffers however from a computational drawback since it requires to solve a complex non-convex quadratic program. We consider in this work a specific family of cost metrics, namely extit{tree metrics} for a space of supports of each probability measure, and aim for developing efficient and scalable discrepancies between the probability measures. By leveraging a tree structure, we propose to align extit{flows} from a root to each support instead of pair-wise tree metrics of supports, i.e., flows from a support to another, in GW. Consequently, we propose a novel discrepancy, named Flow-based Alignment (\FlowAlign), by matching the flows of the probability measures. We show that \FlowAlign~shares a similar structure as a univariate optimal transport distance. Therefore, \FlowAlign~is fast for computation and scalable for large-scale applications. By further exploring tree structures, we propose a variant of \FlowAlign, named Depth-based Alignment (\DepthAlign), by aligning the flows hierarchically along each depth level of the tree structures. Theoretically, we prove that both \FlowAlign~and \DepthAlign~are pseudo-distances. Moreover, we also derive tree-sliced variants, computed by averaging the corresponding \FlowAlign~/ \DepthAlign~using random tree metrics, built adaptively in spaces of supports. Empirically, we test our proposed discrepancies against other baselines on some benchmark tasks.

연구 동기 및 목표

• 비볼록 2차 프로그래밍 성격을 지닌 Gromov-Wasserstein(GW) 거리의 계산 비효율성 문제를 해결하기 위해 대규모 환경에서의 적용을 목표로 한다.
• 지지점들이 서로 다른 거리 공간에 있을 경우 확률 측도를 비교하기 위한 확장 가능하고 효율적인 불일치도를 개발한다.
• 지지점 공간에 대한 나무 거리 구조를 활용하여 빠른 계산을 가능하게 하면서도 구조적 정보를 유지한다.
• 쌍방의 비교를 피하기 위해 루트에서 각 지지점으로의 플로우를 정렬함으로써 FlowAlign을 제안한다.
• 계층적 깊이 수준의 플로우 정렬을 위한 DepthAlign으로 확장하고, 수많은 무작위로 샘플링된 나무 거리 구조에 대해 평균을 내어 안정성 있는 트리 슬라이싱 변형을 유도한다.

제안 방법

• 지지점에 대한 나무 거리 구조를 정의하여 효율적인 계산을 가능하게 한다.
• 루트 노드에서 각 지지점으로의 플로우를 모델링함으로써 GW에서의 쌍방 비교를 줄이는 FlowAlign을 제안한다.
• FlowAlign을 단변량 최적 운반 문제와 유사하게 공식화하여, Sinkhorn 스타일의 빠른 계산이 가능하도록 한다.
• 나무 구조의 각 깊이 수준에서 플로우를 계층적으로 정렬함으로써 DepthAlign을 도입한다.
• 다양한 무작위로 샘플링된 나무 거리 구조에 대해 FlowAlign과 DepthAlign을 평균 내어 트리 슬라이싱 변형을 유도한다.
• 클러스터링 기반 등의 적응형 나무 거리 샘플링 기법을 사용하여 안정적이고 정보가 풍부한 나무 구조를 구성한다.

실험 결과

연구 질문

• RQ1 나무 구조를 가진 지지점에서 플로우 기반 정렬이 서로 다른 공간에 있는 확률 측도 비교를 위한 Gromov-Wasserstein의 확장 가능한 대안이 될 수 있는가?
• RQ2 루트에서 각 지지점으로의 플로우 정렬이 계산 복잡도를 감소시키면서도 구조적 정보를 유지할 수 있는가?
• RQ3 계층적 깊이 수준 정렬(즉, DepthAlign)이 플로우 기반 정렬보다 정렬 정확도를 향상시킬 수 있는가?
• RQ4 FlowAlign과 DepthAlign의 트리 슬라이싱 변형은 기존 베이스라인과 비교해 실질적으로 어떻게 성능을 발휘하는가?
• RQ5 FlowAlign, DepthAlign와 같은 다른 불일치도들(예: 슬라이싱 GW, 엔트로픽 GW) 사이의 경험적 관계는 어떠한가?

주요 결과

• FlowAlign과 DepthAlign는 의사거리로서 대칭성과 삼각 부등식을 만족함을 증명하였다.
• FlowAlign는 단일 변수 최적 운반과 유사한 구조적 유사성 덕분에 빠른 계산 속도를 달성하였다.
• FlowAlign과 DepthAlign의 트리 슬라이싱 변형은 고차원 데이터를 포함한 다양한 데이터셋에서 안정적인 성능을 보였다.
• 경험적 결과는 FlowAlign과 DepthAlign가 슬라이싱 GW 및 엔트로픽 GW와 같은 기존 베이스라인과 비교해 벤치마크 과제에서 우월하거나 유사한 성능을 발휘함을 보여주었다.
• 고차원 데이터셋(예: TWITTER, CLASSIC, AMAZON)에서 FlowAlign과 DepthAlign는 슬라이싱 GW에서 사용하는 일차원 투영 방식보다 더 나은 구조적 정보를 포착함을 보였다.
• 경험적 관계 분석 결과, FlowAlign/DepthAlign와 엔트로픽 GW 변형 간 상관관계가 미미하여, 복잡한 구조를 더 잘 포착할 수 있는 잠재적 이점이 있음을 시사한다.