[논문 리뷰] Globally Injective ReLU Networks

Michael Puthawala, Konik Kothari외 3명|arXiv (Cornell University)|2020. 06. 15.

Neural dynamics and brain function참고 문헌 62인용 수 11

한 줄 요약

이 논문은 완전히 연결된 및 컨volutional ReLU 네트워크에서 전역적 일대일성에 대한 날카운 이론적 조건을 수립하며, 각 층에서 최소한 2배의 확장 인자가 전역 일대일성에 필수적이고 충분함을 증명한다. 또한 층 간의 배제가 아닌 종단 간 차원 두 배 증가가 일대일성을 보장할 수 있음을 보이며, 생성 모델과 역 문제에의 응용을 포함한다.

ABSTRACT

Injectivity plays an important role in generative models where it enables inference; in inverse problems and compressed sensing with generative priors it is a precursor to well posedness. We establish sharp characterizations of injectivity of fully-connected and convolutional ReLU layers and networks. First, through a layerwise analysis, we show that an expansivity factor of two is necessary and sufficient for injectivity by constructing appropriate weight matrices. We show that global injectivity with iid Gaussian matrices, a commonly used tractable model, requires larger expansivity between 3.4 and 10.5. We also characterize the stability of inverting an injective network via worst-case Lipschitz constants of the inverse. We then use arguments from differential topology to study injectivity of deep networks and prove that any Lipschitz map can be approximated by an injective ReLU network. Finally, using an argument based on random projections, we show that an end-to-end -- rather than layerwise -- doubling of the dimension suffices for injectivity. Our results establish a theoretical basis for the study of nonlinear inverse and inference problems using neural networks.

연구 동기 및 목표

• 완전히 연결된 및 컨volutional ReLU 네트워크에서 전역 일대일성에 필요한 조건과 충분 조건을 규명하며, 특히 생성 모델과 역 문제의 맥락에서 고려한다.
• 완전히 연결된 및 컨volutional ReLU 층에서 일대일성에 필요한 최소한의 확장 인자를 규명한다.
• 역함수의 최악의 경우 리프시츠 상수를 통해 일대일 ReLU 네트워크의 역함수 안정성 분석을 수행한다.
• 일대일 ReLU 네트워크가 임의의 리프시츠 함수를 보편적으로 근사할 수 있음을 증명하여, 그 표현 능력을 입증한다.
• 종단 간 확장 인자가 약 2배이면 충분히 일대일성을 확보할 수 있으며, 이는 층 간 확장 인자 요구 조건을 개선한다.

제안 방법

• 각 층의 분석을 통해 전역 일대일성에 필요한 조건과 충분 조건을 유도한다.
• 완전히 연결된 층에서 최소한의 확장 인자(m = 2n)를 달성하는 결정적 가중치 행렬을 구성한다.
• 미분 위상수학적 접근을 적용하여, 임의의 리프시츠 함수가 일대일 ReLU 네트워크에 의해 근사 가능함을 증명한다.
• 무작위 투영 접근을 사용하여 종단 간 차원 두 배 증가가 일대일성에 충분함을 보이며, 층 간 제약 조건을 우회한다.
• 역함수의 최악의 경우 리프시츠 상수를 유도하여, 역 문제 응용에서의 안정성 수치를 제공한다.
• 일대일 컨volutional 층(필터 w와 -s²w 사용)을 활용한 GAN 기반 실험 설정을 통해 성능 및 안정성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 ReLU 층이 전역 일대일성이 되기 위해 필요한 최소한의 확장 인자는 무엇인가?
• RQ2 일대일 ReLU 네트워크는 임의의 리프시츠 함수를 보편적으로 근사할 수 있는가?
• RQ3 확장 인자가 층 단위로 2가 되어야 하는가, 아니면 종단 간 차원 두 배 증가로도 충분한가?
• RQ4 역함수의 최악의 경우 리프시츠 상수는 역 문제 응용에서의 안정성과 어떻게 관련되는가?
• RQ5 일대일성을 유지하면서도 구조화된 가중치 행렬(예: 컨volution 필터)을 사용해 일대일 ReLU 네트워크를 구성할 수 있는가?

주요 결과

• 완전히 연결된 ReLU 층에서 전역 일대일성에 대해 최소한의 확장 인자 2가 필수적이고 충분하며, 이는 결정적 가중치 행렬로 달성 가능하다.
• i.i.d. 가우시안 가중치를 가진 ReLU 층의 경우, 일대일성이 보장되기 위해 3.4에서 10.5 사이의 높은 확장 인자가 필요하다.
• 일대일 ReLU 층의 최악의 경우 역함수 리프시츠 상수는 유계이므로, 역 문제 응용에서의 안정성 추정이 가능하다.
• 임의의 리프시츠 함수는 일대일 ReLU 네트워크에 의해 근사 가능하며, 이는 일대일 네트워크의 보편 근사 성질을 입증한다.
• 깊은 ReLU 네트워크에서 종단 간 확장 인자가 약 2배이면 충분히 일대일성이 보장되며, 층 간 두 배 증가 요구 조건을 줄일 수 있다.
• 수치 실험 결과, 구조화된 필터(w와 -s²w 사용)를 갖는 일대일 GAN은 표준 GAN과 유사한 성능을 달성하면서도 안정적인 역함수를 가능하게 한다.