[논문 리뷰] Universal approximation property of invertible neural networks

Isao Ishikawa, Takeshi Teshima외 4명|arXiv (Cornell University)|2022. 04. 15.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 미분기하학 기반 이론적 프레임워크를 개발하여 역가능 신경망(INNs)의 보편 근사성 성질을 확립한다. 약간의 조건 하에서 커플링-플로우 기반 INNs와 신경ODEs가 어떤 미분동형사상(diffeomorphism)이라도 근사할 수 있음을 증명하며, 역가능성과 자코비안의 계산 가능성에 대한 구조적 제약에도 불구하고 높은 표현 능력을 지닌다는 것을 보여준다.

ABSTRACT

Invertible neural networks (INNs) are neural network architectures with invertibility by design. Thanks to their invertibility and the tractability of Jacobian, INNs have various machine learning applications such as probabilistic modeling, generative modeling, and representation learning. However, their attractive properties often come at the cost of restricting the layer designs, which poses a question on their representation power: can we use these models to approximate sufficiently diverse functions? To answer this question, we have developed a general theoretical framework to investigate the representation power of INNs, building on a structure theorem of differential geometry. The framework simplifies the approximation problem of diffeomorphisms, which enables us to show the universal approximation properties of INNs. We apply the framework to two representative classes of INNs, namely Coupling-Flow-based INNs (CF-INNs) and Neural Ordinary Differential Equations (NODEs), and elucidate their high representation power despite the restrictions on their architectures.

연구 동기 및 목표

• 역가능 신경망(INNs)이 구조적 제약에도 불구하고 광범위한 함수의 클래스를 근사할 수 있는지 조사하기 위해.
• 역가능성과 계산 가능한 자코비안을 고려한 제약 조건으로 인해 제한을 받는 INNs의 표현 능력에 대한 근본적인 질문을 다루기 위해.
• 미분기하학을 기반으로 한 일반적인 이론적 프레임워크를 개발하여 INNs 내의 미분동형사상 근사 능력을 분석하기 위해.
• 이 프레임워크를 커플링-플로우 기반 INNs(CF-INNs)와 신경ODEs(NODEs)와 같은 두 가지 주요 INN 유형에 적용하여 그들의 보편 근사성 성질을 입증하기 위해.
• 구조적 제약이 있어도 적절한 조건 하에서 INNs의 표현 능력이 제한되지 않는다는 것을 보여주기 위해.

제안 방법

• 미분기하학의 구조 정리(Structure Theorem)를 활용하여 미분동형사상의 공간을 특성화함으로써, INNs 내 근사 분석을 단순화한다.
• 미분동형사상의 근사 문제를 매끄러운 역가능한 사상의 공간 내 조밀성(density) 문제로 수식화한다.
• 커플링-플로우 기반 INNs에 프레임워크를 적용하기 위해, 역가능한 커플링 레이어의 조합과 그 닫힘 성질을 분석한다.
• 신경ODEs에 프레임워크를 적용하기 위해, 유연한 벡터장이 있는 미분방정식의 해로 플로우를 모델링한다.
• 매끄러운 임bedding 이론과 분할 단위(partition of unity) 이론을 사용하여, 적절한 조건 하에서 INNs의 집합이 미분동형사상의 공간에 조밀하다는 것을 증명한다.
• CF-INNs와 NODEs가 네트워크의 깊이와 너비가 충분히 클 경우 어떤 미분동형사상이라도 임의로 정밀하게 근사할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 충분한 용량이 있다면, 역가능 신경망이 어떤 매끄러운 역가능한 함수(즉, 미분동형사상)도 근사할 수 있는가?
• RQ2 역가능성과 계산 가능한 자코비안 등의 구조적 제약이 INNs의 표현 능력에 얼마나 큰 영향을 미치는가?
• RQ3 구조적 제약이 존재하더라도 커플링-플로우 기반 INNs와 신경ODEs가 보편 근사성을 지닌다 할 수 있는가?
• RQ4 다양한 INN 아키텍처의 근사 분석을 통합할 수 있는 일반적인 이론적 프레임워크가 존재하는가?
• RQ5 INNs의 보편 근사성에 있어 깊이, 너비, 활성화 함수에 대해 필수적이고 충분한 조건은 무엇인가?

주요 결과

• 논문은 커플링-플로우 기반 INNs와 신경ODEs가 모두 미분동형사상에 대해 보편 근사성 성질을 지닌다는 것을 입증한다.
• 미분기하학 기반 이론적 프레임워크를 통해, 근사 문제를 매끄러운 역가능한 사상의 공간 내 조밀성 문제로 환원함으로써, INNs 내 근사 능력에 대한 엄밀한 분석이 가능해진다.
• 역가능성과 계산 가능한 자코비안 계산 등의 구조적 제약이 있더라도, 깊이와 너비가 충분히 클 경우 INNs는 어떤 미분동형사상이라도 임의로 정밀하게 근사할 수 있다.
• 프레임워크에 따르면, CF-INNs의 역가능한 커플링 레이어 조합은 커플링 함수에 대한 약간의 조건 하에서 미분동형사상의 공간에 조밀하다.
• 신경ODEs의 경우, ODE의 벡터장이 충분히 표현력이 있다면(예: ReLU 또는 ReLU 유사 활성화 함수 사용 시), 보편 근사성 성질이 성립한다.
• 결과적으로, 네트워크가 충분히 깊고 넓다면 INNs의 구조적 제약이 본질적으로 표현 능력을 제한하지 않는다는 것을 시사한다.