[논문 리뷰] Canonical normalizing flows for manifold learning

Kyriakos Flouris, Ender Konukoğlu|arXiv (Cornell University)|2023. 10. 19.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 매니폴드 러닝 정규화 플로우를 위한 새로운 최적화 목표인 캐논리컬 매니폴드 플로우(CMF)를 제안한다. 이 방법은 플로우의 자코비안에서 유도된 메트릭 텐서의 비대각 성분에 대한 ℓ₁-노름을 최소화하여 잠재 공간에서 희소하고 비퇴화되며 국소적으로 수직인 내재 기저를 강제함으로써, 추가적인 계산 비용 없이 샘플 품질과 잠재 공간의 효율성을 향상시킨다. 기존 방법보다 낮은 FID 점수를 달성한다.

ABSTRACT

Manifold learning flows are a class of generative modelling techniques that assume a low-dimensional manifold description of the data. The embedding of such a manifold into the high-dimensional space of the data is achieved via learnable invertible transformations. Therefore, once the manifold is properly aligned via a reconstruction loss, the probability density is tractable on the manifold and maximum likelihood can be used to optimize the network parameters. Naturally, the lower-dimensional representation of the data requires an injective-mapping. Recent approaches were able to enforce that the density aligns with the modelled manifold, while efficiently calculating the density volume-change term when embedding to the higher-dimensional space. However, unless the injective-mapping is analytically predefined, the learned manifold is not necessarily an efficient representation of the data. Namely, the latent dimensions of such models frequently learn an entangled intrinsic basis, with degenerate information being stored in each dimension. Alternatively, if a locally orthogonal and/or sparse basis is to be learned, here coined canonical intrinsic basis, it can serve in learning a more compact latent space representation. Toward this end, we propose a canonical manifold learning flow method, where a novel optimization objective enforces the transformation matrix to have few prominent and non-degenerate basis functions. We demonstrate that by minimizing the off-diagonal manifold metric elements $\ell_1$-norm, we can achieve such a basis, which is simultaneously sparse and/or orthogonal. Canonical manifold flow yields a more efficient use of the latent space, automatically generating fewer prominent and distinct dimensions to represent data, and a better approximation of target distributions than other manifold flow methods in most experiments we conducted, resulting in lower FID scores.

연구 동기 및 목표

• 기존 매니폴드 러닝 플로우(MLF)에서 차원 간에 정보가 중복 저장되어 효율성이 떨어지고, 잠재 공간 표현이 퇴화되는 문제를 해결하기 위해.
• 동시에 희소하고 국소적으로 수직인 캐논리컬 내재 기저를 유도함으로써 학습된 잠재 공간의 밀도와 해석 가능성을 향상시키기 위해.
• 기존 자코비안 계산을 재사용하여 추가적인 계산 오버헤드 없이 새로운 최적화 목표를 통해 이를 달성하기 위해.
• 더 구조화된 잠재 기저가 더 나은 생성 성능와 목표 데이터 분포의 근사화를 향상시킨다는 것을 입증하기 위해.
• 이론적으로 탄탄하고 계산적으로 효율적인 방법을 제공하여, 정확한 가능도 계산을 유지하면서 매니폴드 플로우 모델링을 향상시키기 위해.

제안 방법

• 플로우의 자코비안에서 유도된 리만 메트릭 텐서의 비대각 성분에 대한 ℓ₁-노름을 최소화하는 새로운 손실 항목을 도입한다.
• 이 손실은 잠재 공간 내 학습된 탄젠트 벡터가 희소하고 약간의 수직성을 가지도록 유도하여, 엄격한 수직성을 강제하지 않으면서도 자연스럽게 캐논리컬 기저를 형성한다.
• 표준 매니폴드 러닝 플로우의 가능도 최대화 목표에 통합되며, 변화변수 공식에서 유도된 자코비안 계산을 재사용한다.
• 기존의 RNF 및 MFlow와 같은 MLF 프레임워크와 호환되며, 합성 데이터와 이미지 데이터 모두에 적용 가능하다.
• 추가적인 역함수 제약 조건이나 아키텍처 변경 없이 경량이고 즉시 적용 가능한 플러그 앤 플레이 방식이다.
• 캐논리컬 기저는 최적화 과정을 통해 자연스럽게 도출되며, 이는 잠재 차원의 더 나은 분리 가능성과 퇴화 감소를 가능하게 한다.

(a) Density plot for a fuzzy line learned with RNF, via Equation 4 .

실험 결과

연구 질문

• RQ1 잠재 공간에서 비대각 메트릭 성분을 최소화하면 매니폴드 러닝 플로우에서 더 컴act하고 퇴화되지 않은 표현을 얻을 수 있는가?
• RQ2 학습된 기저에 희소성과 국소 수직성을 강제하면 샘플 품질 향상과 가능도 근사화가 향상되는가?
• RQ3 추가적인 계산 비용이나 아키텍처 복잡성 없이 이를 달성할 수 있는가?
• RQ4 FID 점수와 잠재 공간의 분리 가능성 측면에서 이 결과로 도출된 캐논리컬 기저는 기존 표준 MLF 방법과 비교해 어떻게 다른가?
• RQ5 이 방법은 합성 데이터와 이미지 데이터를 포함한 다양한 데이터 유형에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 CMF 방법은 다양한 실험에서 기준 매니폴드 러닝 플로우보다 낮은 프리셰트 인셉션 디스턴스(FID) 점수를 달성하여 샘플 품질 향상을 입증한다.
• 학습된 잠재 표현은 퇴화가 감소하여, 데이터 매니폴드를 효율적으로 포괄하는 데 더 적은 수의 두드러진 차원이 사용된다.
• 비대각 메트릭 성분에 대한 ℓ₁-노름 최소화가 엄격한 수직성을 강제하지 않으면서도 내재 기저의 희소성과 국소 수직성을 성공적으로 유도한다.
• 정확한 가능도 계산을 유지하며 근사화에 의존하지 않아 정규화 플로우의 수학적 엄밀성을 유지한다.
• 데이터 구성 요소의 더 나은 분리 가능성을 제공하여, 이상치 탐지와 같은 후속 작업에 유리할 수 있다.
• 계산적으로 효율적이며, 기존 MLF 프레임워크에 최소한의 수정으로 적용 가능하다. 합성 데이터 및 이미지 데이터 실험을 통해 이를 입증하였다.

(b) Density plot for a fuzzy line learned with CMF, via Equation 8 .