[논문 리뷰] On the expressivity of bi-Lipschitz normalizing flows

Alexandre Vérine, Benjamin Négrevergne외 2명|arXiv (Cornell University)|2021. 07. 15.

Image and Signal Denoising Methods참고 문헌 16인용 수 4

한 줄 요약

이 논문은 이중 리프시츠(normalizing flows)의 표현력 한계를 분석하기 위해 목표 분포와 그 근사값 사이의 총변동(Total Variation, TV) 거리에 대한 새로운 하한을 도출한다. 이는 특히 정방향 및 역방향 리프시츠 상수가 유한한 경우, 고밀도 또는 저밀도 영역을 가진 복잡한 데이터 분포를 정확히 모델링하는 데 어려움을 초래할 수 있음을 보여주며, 이를 해결하기 위해 개선된 잠재 분포를 제안한다.

ABSTRACT

An invertible function is bi-Lipschitz if both the function and its inverse have bounded Lipschitz constants. Nowadays, most Normalizing Flows are bi-Lipschitz by design or by training to limit numerical errors (among other things). In this paper, we discuss the expressivity of bi-Lipschitz Normalizing Flows and identify several target distributions that are difficult to approximate using such models. Then, we characterize the expressivity of bi-Lipschitz Normalizing Flows by giving several lower bounds on the Total Variation distance between these particularly unfavorable distributions and their best possible approximation. Finally, we discuss potential remedies which include using more complex latent distributions.

연구 동기 및 목표

• 이중 리프시츠 정규화 플로우가 복잡한 데이터 분포를 근사하는 데 있어 표현력에 미치는 제약을 분석하기.
• 이중 리프시츠 모델이 도전을 받는 특정 데이터 분포 특성—예를 들어 고밀도 또는 저밀도 영역—을 규명하기.
• 목표 분포와 근사 분포 사이의 총변동 거리에 대한 새로운 이론적 하한을 도출하기.
• 특히 가우시안 믹스처 모델과 같은 더 복잡한 잠재 분포를 사용하여 표현력 제약을 완화할 수 있는 방법을 탐색하기.
• 지원의 위상에 대한 제한 없는 가정이 필요 없는 어떤 데이터 분포에도 적용 가능한 이론적 프레임워크를 제공하기.

제안 방법

• 정방향 매핑의 리프시츠 상수 $L_1$ 에 기반한 일반적인 TV 거리 하한을 유도하며, 이는 어떤 데이터 분포에도 적용 가능하다.
• 역방향 매핑의 리프시츠 상수 $L_2$ 에 의존하는 두 번째 하한을 확립하여, 저밀도 영역을 모델링하는 데서의 한계를 부각한다.
• 모든 $L_1$ 과 $L_2$ 에 의존하는 세 번째 하한을 도입하여 표현력의 상호 보완적 trade-off 를 설명한다.
• 학습 가능한 평균과 분산 $\sigma_i$ 및 모드 수 $K$ 를 포함한 가우시안 믹스처 잠재 분포에 대해 이 하한을 적응시켰다.
• $K$ 와 $\sigma_i$ 가 하한에 미치는 영향을 분석하여, $K$ 를 늘리거나 $\sigma_i$ 를 학습시키면 근사 오차를 완화할 수 있음을 보였다.
• 혼합 모델 및 연속적 분할 방법의 학습 과제를 논의하며, 복잡성과 안정성 부족을 지적했다.

실험 결과

연구 질문

• RQ1 정방향 및 역방향 매핑에 대한 이중 리프시츠 제약은 정규화 플로우가 복잡한 데이터 분포를 근사하는 능력을 어떻게 제한하는가?
• RQ2 이중 리프시츠 제약 하에서 목표 분포와 그 근사값 사이의 총변동 거리에 대한 이론적 하한은 무엇인가?
• RQ3 데이터 공간 내 고밀도 및 저밀도 영역은 이중 리프시츠 정규화 플로우에서 근사 오차에 어떻게 영향을 주는가?
• RQ4 가우시안 믹스처 잠재 분포를 사용하면 TV 거리의 하한을 줄이고 표현력을 향상시킬 수 있는가?
• RQ5 이중 리프시츠 제약을 극복하기 위해 복잡한 잠재 분포를 갖는 모델을 학습시키는 데서 실용적이고 이론적인 과제는 무엇인가?

주요 결과

• 논문은 정방향 매핑의 리프시츠 상수 $L_1$ 에 의존하는 TV 거리 하한을 확립하여, 고밀도 영역이 피할 수 없는 근사 오차를 초래할 수 있음을 보였다.
• 역방향 매핑의 리프시츠 상수 $L_2$ 를 기반으로 한 두 번째 하한을 도출하여, 고밀도 클러스터 사이의 저밀도 영역에서도 근사 오차가 발생함을 시사했다.
• 모든 $L_1$ 과 $L_2$ 에 의존하는 세 번째 하한을 도입하여, 표현력의 상호 보완적 트레이드오프를 드러내었으며, 한쪽을 개선하면 다른 쪽이 악화될 수 있음을 보였다. 이는 일반적인 표현력 향상이 불가능함을 의미한다.
• 모드 수 $K$ 와 학습 가능한 분산 $\sigma_i$ 를 가진 가우시안 믹스처 잠재 분포를 사용할 경우, 하한은 $K$ 가 증가함에 따라 증가하지만, $\sigma_i$ 를 학습시키면 이를 상쇄할 수 있어 근사 성능 향상의 길을 제시한다.
• 이론적으로는 유망한 결과를 보였지만, 혼합 기반 또는 분할 기반 정규화 플로우의 실질적 학습은 안정성 부족과 $K$ 와 같은 초모수를 설정할 수 있는 효율적 방법의 부재로 인해 여전히 도전 과제로 남아 있다.
• 결과적으로 이중 리프시츠 제약은 특정 데이터 분포에 대해 표현력을 본질적으로 제한하며, 이를 해결하기 위해서는 철저한 아키텍처 및 학습 설계가 필요하다.