[논문 리뷰] The Shape of Data: Intrinsic Distance for Data Distributions

Anton Tsitsulin, Marina Munkhoeva외 5명|arXiv (Cornell University)|2019. 05. 27.

Data Visualization and Analytics참고 문헌 46인용 수 22

한 줄 요약

이 논문은 스펙트럴 그로모프-워샤르스타인 거리의 하한을 활용하여 데이터 다양체의 내재 기하 구조를 고려한 새로운 방법인 IMD(Intrinsic Multi-scale Distance)를 제안한다. 히트 트레이스 근사화에 휘처스턴 트레이스 추정기와 랭크조 기반 행렬 함수 평가를 적용함으로써, 근사 선형 계산 복잡도를 갖는 효율적인 다중 척도 비교를 가능하게 하여, FID나 KID와 같은 외재적 지표보다 구조적 차이를 더 잘 탐지한다.

ABSTRACT

The ability to represent and compare machine learning models is crucial in order to quantify subtle model changes, evaluate generative models, and gather insights on neural network architectures. Existing techniques for comparing data distributions focus on global data properties such as mean and covariance; in that sense, they are extrinsic and uni-scale. We develop a first-of-its-kind intrinsic and multi-scale method for characterizing and comparing data manifolds, using a lower-bound of the spectral variant of the Gromov-Wasserstein inter-manifold distance, which compares all data moments. In a thorough experimental study, we demonstrate that our method effectively discerns the structure of data manifolds even on unaligned data of different dimensionalities; moreover, we showcase its efficacy in evaluating the quality of generative models.

연구 동기 및 목표

• FID나 KID와 같은 외재적 단일 척도 지표가 저차 모멘트에만 의존하고 전반적인 기하적 구조를 포착하지 못하는 한계를 해결하기 위해.
• 외부 표현이나 정렬에 의존하지 않고 내재 기하 특성에 기반한 데이터 분포 비교 방법을 개발하기 위해.
• 다른 차원성 또는 정렬되지 않은 구조를 가진 데이터 다양체(예: 교차 언어적 단어 임베딩 또는 신경망 표현) 간의 효과적인 비교를 가능하게 하기 위해.
• 기존 기하 지표에 비해 이론적이고 경험적으로 타당성이 입증된 스케일러블하고 계산 효율적인 대안을 제공하기 위해.
• 생성 모델 평가 및 모델 다이내믹스 추적에 있어 다중 척도 내재 비교의 유효성을 입증하기 위해.

제안 방법

• 입력 데이터로부터 k-NN 그래프를 구성하여 라플라스-벨트라미 연산자의 스펙트럼을 근사화함으로써 내재 다양체 기하를 포착한다.
• 무작위 벡터를 사용한 휘처스턴 트레이스 추정기를 통해 그래프 라플라시안의 히트 트레이스를 추정함으로써 행렬 함수의 트레이스를 근사한다.
• 히트 트레이스에 필요한 이차 형식을 효율적으로 추정하기 위해 m=10단계의 랭크조 알고리즘을 사용하여 근사 선형 시간 복잡도를 확보한다.
• 시간 척도 t ∈ (0.1, 10)에 대해 로그 스케일 그리드 상에서 다양한 시간에 걸쳐 히트 트레이스를 비교함으로써 스펙트럴 그로모프-워샤르스타인 하한을 근사한다.
• 최종 거리는 시간에 따른 히트 트레이스 절대 차이의 상한값으로 계산되며, 지수 감쇠 인자에 의해 가중된다.
• 확장된 k-NN 그래프를 사용하여 확장성을 유지하며, 기본 설정에서 O(n_v (m log m + k m n))의 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 외재적 지표인 FID나 KID가 간과하는 구조적 차이를 내재적 다중 척도 거리 측정법이 탐지할 수 있는가?
• RQ2 동일한 어휘가 없고 정렬되지 않은 언어 간 단어 임베딩과 같이 정렬되지 않은 데이터 다양체 간 비교에서 IMD는 얼마나 잘 작동하는가?
• RQ3 학습 또는 모델 진화 과정 중 중간 신경망 표현의 변화를 IMD가 효과적으로 추적할 수 있는가?
• RQ4 기존 지표인 FID, KID, Geometry Score와 비교해 볼 때 IMD의 확장성과 안정성은 어떠한가?
• RQ5 다중 척도 내재 비교가 모멘트 기반 외재적 지표보다 생성 모델 평가에 더 신뢰할 수 있는 결과를 제공하는가?

주요 결과

• FID와 KID가 첫 번째 세 차수의 모멘트가 동일한 경우 근사적으로 0에 가까운 점수를 보이지만, IMD는 그와 같은 경우에도 전반적인 기하적 구조적 차이를 성공적으로 탐지한다. 이는 동일한 첫 번째 세 차수의 모멘트를 가진 시뮬레이션 예제에서 입증되었다.
• 휘처스턴 추정기에서 100개의 무작위 벡터만으로도 추정의 상대 오차가 약 10^-3 수준으로 유지되어 수치 정확성이 검증되었다.
• IMD의 계산 복잡도는 근사 선형이며, FID(O(d³ + dn))와 KID(O(dn²))보다 뛰어나며, 샘플 크기에 따라 지수적 증가를 보이는 Geometry Score보다도 더 잘 스케일링된다.
• 교차 언어적 단어 임베딩에 대한 실험에서 IMD는 정렬되지 않은 어휘 간 비교를 효과적으로 수행하였으며, 외재적 지표가 간과하는 의미적 차이를 드러내었다.
• 다양한 데이터 차원성과 다양체 구조에서 일관되고 안정적인 성능을 보이며 표현 변화에 대해 강건함을 입증하였다.
• 다중 척도 기하 특성을 포착함으로써 평균과 공분산 일치 이외의 정보를 제공함으로써 생성 모델 평가에 신뢰할 수 있는 기반을 마련하였다.