[논문 리뷰] Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators

Takeshi Teshima, Isao Ishikawa외 4명|arXiv (Cornell University)|2020. 06. 20.

Neural Networks and Applications참고 문헌 30인용 수 42

한 줄 요약

본 논문은 coupling-flow invertible neural networks (CF-INNs)가 보편적 미분동형사상 근사기로서의 역할을 한다는 것을 증명하고, affine coupling이 광범위한 보편성을 만족시키며 보편성 클래스의 등가를 확립한다.

ABSTRACT

Invertible neural networks based on coupling flows (CF-INNs) have various machine learning applications such as image synthesis and representation learning. However, their desirable characteristics such as analytic invertibility come at the cost of restricting the functional forms. This poses a question on their representation power: are CF-INNs universal approximators for invertible functions? Without a universality, there could be a well-behaved invertible transformation that the CF-INN can never approximate, hence it would render the model class unreliable. We answer this question by showing a convenient criterion: a CF-INN is universal if its layers contain affine coupling and invertible linear functions as special cases. As its corollary, we can affirmatively resolve a previously unsolved problem: whether normalizing flow models based on affine coupling can be universal distributional approximators. In the course of proving the universality, we prove a general theorem to show the equivalence of the universality for certain diffeomorphism classes, a theoretical insight that is of interest by itself.

연구 동기 및 목표

• 엄격한 universality 프레임워크를 사용하여 invertible 변환에 대한 CF-INNs의 표현력을 평가한다.
• 레이어 설계에 기반하여 CF-INNs가 보편적인지 결정하는 기준을 개발한다.
• affine coupling flows (ACFs)가 광범위한 미분동형사상 클래스에 대한 보편 근사를 뒷받침한다를 보여준다.
• affine-coupled CF-INNs에 대한 distributional universality의 미해결 문제를 해결한다.

제안 방법

• CF-INN 아키텍처를 도입하고 coupling flows와 affine coupling flows를 정의한다.
• 미분 기하학 기반 축소를 사용하여 미분동형사상 클래스 간의 universal approximation 특성의 등가성을 확립한다.
• 더 간단한 좌표별 변환으로의 축소를 통해 affine coupling을 포함하는 CF-INN에 대해 Lp- 및 sup-보편성 결과를 증명한다.
• Expressive H를 갖춘 H-ACF가 S^0_c에 대해 Lp-유니버설 근사성을 산출할 수 있음을 보이고, 등가 정리에 의해 D^2로 확장된다.
• CF-INNs에 대한 보편성을 distributional universality와 연결하는 결론들을 도출한다.

실험 결과

연구 질문

• RQ1 CF-INNs가 광범위한 미분동형사상 클래스에 대해 보편적 근사를 달성할 수 있으며, 어떤 레이어 설계에서 가능한가?
• RQ2 CF-NN 아키텍처에 affine coupling을 포함시키면 D^2 미분동형사상에 대해 보편성이 보장되는가?
• RQ3 CF-INN 아키텍처 내에서 서로 다른 universality notions (Lp, sup, distributional) 간의 관계는 무엇인가?

주요 결과

• CF-INNs는 그들의 레이어에 affine coupling과 invertible linear functions를 special cases로 포함할 때 보편적 미분동형사상 근사기로서의 역할을 한다.
• 등가 정리는 D^2, T^∞, 및 S^∞_c 클래스에 대한 보편성을 보여주며, 이를 더 간단한 좌표별 문제로 축소할 수 있음을 시사한다.
• INN_G를 H-ACF 계층으로 구성하면 S^0_c에 대한 Lp-유니버설 근사기로 작동하며, 등가 결과를 통해 D^2에 대해서도 해당한다.
• 이 연구는 Lp/보편성 결과의 결론으로서 affine-coupled CF-INNs에 대한 distributional universality를 확인한다.
• DSF 및 SoS와 같은 기존 아키텍처는 입증된 프레임워크에 포함되며, 그들의 distributional universality를 상속하고, 경우에 따라 sup-universality도 상속한다.