[논문 리뷰] Manifold Topology Divergence: a Framework for Comparing Data Manifolds

Serguei Barannikov, Ilya Trofimov외 5명|arXiv (Cornell University)|2021. 06. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 4

한 줄 요약

이 논문은 데이터 매니폴드를 비교하기 위한 도메인에 관계없이 적용 가능한 새로운 프레임워크인 매니폴드 토폴로지 다이버전스(MTop-Divergence)를 소개한다. 이 프레임워크는 두 점 클러스터 P(실제 데이터)와 Q(생성된 데이터) 간의 다스케일 토폴로지적 차이를 추적하는 새로운 도구인 크로스 브로드캐스트(Cross-Barcode(P,Q))를 사용한다. 이 방법은 환경 차원에 대해 선형적으로 확장되며, FID나 GScore와 같은 기존 메트릭보다 이미지, 3D 형태, 시계열 데이터 전반에서 모드 붕괴, 모드 창출, 매니폴드 왜곡을 탐지하는 데 뛰어나다.

ABSTRACT

We develop a framework for comparing data manifolds, aimed, in particular, towards the evaluation of deep generative models. We describe a novel tool, Cross-Barcode(P,Q), that, given a pair of distributions in a high-dimensional space, tracks multiscale topology spacial discrepancies between manifolds on which the distributions are concentrated. Based on the Cross-Barcode, we introduce the Manifold Topology Divergence score (MTop-Divergence) and apply it to assess the performance of deep generative models in various domains: images, 3D-shapes, time-series, and on different datasets: MNIST, Fashion MNIST, SVHN, CIFAR10, FFHQ, chest X-ray images, market stock data, ShapeNet. We demonstrate that the MTop-Divergence accurately detects various degrees of mode-dropping, intra-mode collapse, mode invention, and image disturbance. Our algorithm scales well (essentially linearly) with the increase of the dimension of the ambient high-dimensional space. It is one of the first TDA-based practical methodologies that can be applied universally to datasets of different sizes and dimensions, including the ones on which the most recent GANs in the visual domain are trained. The proposed method is domain agnostic and does not rely on pre-trained networks.

연구 동기 및 목표

• 딥 러닝 생성 모델에 대한 신뢰할 수 있고 도메인에 관계없이 적용 가능한 평가 메트릭의 부족, 특히 모드 손실이나 붕괴와 같은 토폴로지적 실패를 탐지하는 데에 초점을 맞춘다.
• 기존 메트릭인 FID와 같이 사전 학습된 네트워크에 의존하고 고차원 데이터에서 미세한 기하학적 및 토폴로지적 차이를 포착하지 못하는 한계를 극복한다.
• 2D 이미지, 3D 포인트 클러스터, 시계열 데이터 등 다양한 데이터 유형에 적용 가능한 확장 가능한 토폴로지 기반 방법을 개발한다. 이는 아키텍처나 도메인 전용 가정 없이도 가능하다.
• 학습 과정에서 데이터 매니폴드의 진정한 진화를 반영하는 모델 평가 도구를 제공함으로써, 학습 동역학과 조기 정지에 대한 통찰을 가능하게 한다.
• 생성된 데이터의 기하학적 및 토폴로지적 이상을 탐지하는 데 있어 토폴로지 기반 메트릭이 기존 메트릭을 능가할 수 있음을 입증한다.

제안 방법

• 크로스 브로드캐스트(Cross-Barcode(P,Q))를 제안하며, 이는 두 점 클러스터 P(실제 데이터)와 Q(생성된 데이터) 간의 Betti 수와 지속성 다이어그램에서의 다스케일 차이를 인코딩하는 토폴로지 도구로, 다양한 스케일에서의 토폴로지적 차이를 포착한다.
• 크로스 브로드캐스트(P,Q)에서 유도된 분산 점수인 매니폴드 토폴로지 다이버전스(MTop-Div)를 정의하며, 이는 데이터 분포의 배경 매니폴드 간의 토폴로지적 이질성을 정량화한다.
• 지속성 호몰로지(persistent homology)를 사용해 실제 데이터와 생성된 데이터의 점 클러스터에서 토폴로지적 특징을 계산하며, 여러 스케일에서 연결 성분(H0), 고리(H1), 빈 공간(H2)을 중점적으로 다룬다.
• 스케일링과 바코드 계산의 확률적 변동성을 줄이기 위해 최적화된 랜드마크 선택 기반의 변형된 워치 복합체 구축 방법을 적용한다.
• 안정적인 메트릭(예: 워셔슈타인 거리 또는 보틀넥 거리)을 사용해 지속성 다이어그램 간의 정규화 및 거리 계산을 수행하여 최종 분산 점수를 유도한다.
• 효율적인 기하 계산 및 병렬 처리 기법을 활용해 고차원 데이터(D = 10^7까지)에 대해 확장 가능하게 만들었으며, 이는 이전의 TDA 확장성 문제를 해결한다.

실험 결과

연구 질문

• RQ1 기존 메트릭보다 토폴로지 기반 메트릭이 모드 손실, 모드 붕괴, 모드 창출과 같은 미세한 토폴로지적 실패를 더 효과적으로 탐지할 수 있는가?
• RQ2 GAN 학습 과정에서 MTop-Divergence 점수가 다양한 데이터 모odal리티에서 어떻게 변화하는가? 그리고 이는 데이터 매니폴드의 진정한 변화를 반영하는가?
• RQ3 MTop-Divergence는 도메인 특화 평가 메트릭(FID, 판별 스코어 등)과 어느 정도 상관관계를 가지며, 모델 품질에 대한 보완적 통찰을 제공하는가?
• RQ4 사전 학습된 네트워크 없이도 현대의 고차원 데이터셋(예: FFHQ, D ≈ 10^7)에 대해 확장 가능하고 실용적인 토폴로지 기반 평가 방법을 만들 수 있는가?
• RQ5 기존의 토폴로지 기반 메트릭(Geometry Score 등)과 비교해 기하학적 변환(예: 이동, 확대)에 대해 MTop-Divergence는 얼마나 민감한가?

주요 결과

• 3D 형태에서 GAN 학습 중 매니폴드 폭발과 토폴로지 왜곡을 MTop-Divergence가 성공적으로 탐지하였으며, 실제 매니폴드에서 크게 벗어나게 되는 에포크 50에 피크를 보였다. 이는 MMD, JSD, 커버리지와 같은 기존 메트릭이 포착하지 못한 변화였다.
• FFHQ 데이터셋(최대 10^7 차원)에서 MTop-Divergence 계산은 환경 차원에 대해 거의 선형적으로 확장되며, 대규모 고차원 데이터에 대한 실용적 가능성을 입증하였다.
• MTop-Divergence는 도메인 특화 메트릭과 양호한 상관관계를 보이며, 기존 메트릭이 놓치는 바를 보완하는 통찰을 제공한다. 예를 들어, 허위 모드의 출현이나 매니폴드 붕괴와 같은 학습 동역학의 변화를 포착한다.
• FID, GScore 및 기타 베이스라인보다 토폴로지 이상을 탐지하는 데 뛰어나다. 예를 들어, FID는 가우시안 근사 오차로 인해 모드 손실이나 인트라-모드 붕괴를 탐지하지 못하는 반면, MTop-Divergence는 이를 효과적으로 포착한다.
• TimeGAN을 사용한 시계열 생성에서 MTop-Divergence는 판별 스코어와 함께 감소하지만, 더 세밀한 수렴 패턴을 드러낸다. 즉, 실질적으로 에포크 2000에 실제와 생성된 매니폴드가 토폴로지적으로 유사해지는 신호를 포착하였으며, 이는 판별 스코어에서는 놓친 신호였다.
• MTop-Divergence는 기하학적 변환에 대해 강건하며, GScore가 64개 랜드마크에서 근사 바코드 계산을 통해 일정한 이동이나 확대를 감지하지 못하는 문제를 겪지 않는다.