[논문 리뷰] Max-Affine Spline Insights into Deep Generative Networks

Randall Balestriero, Sébastien Paris외 1명|arXiv (Cornell University)|2020. 02. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 60인용 수 4

한 줄 요약

이 논문은 깊이 있는 생성 네트워크(DGNs)와 최대-아핀 스플라인 연산자(MASOs)를 이론적으로 연결하는 프레임워크를 수립하여, 조각별로 아핀인 다양체가 생성된 데이터의 구조를 규명한다. 출력 밀도와 엔트로피에 대한 해석적 표현을 유도함으로써 가능성이 계산 가능해지고, 저엔트로피 또는 다중모달 분포를 모델링하는 데서 나타나는 한계가 드러나며, 이는 분리 가능성과 학습 안정성에 영향을 미친다.

ABSTRACT

We connect a large class of Generative Deep Networks (GDNs) with spline operators in order to derive their properties, limitations, and new opportunities. By characterizing the latent space partition, dimension and angularity of the generated manifold, we relate the manifold dimension and approximation error to the sample size. The manifold-per-region affine subspace defines a local coordinate basis; we provide necessary and sufficient conditions relating those basis vectors with disentanglement. We also derive the output probability density mapped onto the generated manifold in terms of the latent space density, which enables the computation of key statistics such as its Shannon entropy. This finding also enables the computation of the GDN likelihood, which provides a new mechanism for model comparison as well as providing a quality measure for (generated) samples under the learned distribution. We demonstrate how low entropy and/or multimodal distributions are not naturally modeled by DGNs and are a cause of training instabilities.

연구 동기 및 목표

• 깊이 있는 생성 네트워크(DGNs)와 최대-아phin 스플라인 연산자(MASOs)를 연결하는 이론적 프레임워크를 개발하여 더 나은 구조적 이해를 도모한다.
• DGNs에서 생성된 데이터의 내재 차원, 각도적 구조 및 다양체 분할을 특성화한다.
• 생성된 다양체 위에서 출력 확률 밀도와 샤논 엔트로피에 대한 해석적 표현을 유도한다.
• 국소 아핀 기저 벡터를 기반으로 분리 가능성에 필요한 필수 및 충분 조건을 수립한다.
• DGNs가 저엔트로피 또는 다중모달 분포를 모델링하는 데서 나타나는 한계를 드러내고, 이를 학습 불안정성과 연결한다.

제안 방법

• DGNs를 최대-아phin 스플라인 연산자(MASOs)의 복합체로 모델링하며, 이는 연속적인 조각별 아핀(CPA) 함수이다.
• 각 층을 R개의 아핀 변환의 점별 최댓값으로 표현한다: $\text{MASO}(\bm{u};\{\bm{A}_r,\bm{b}_r\}_{r=1}^R) = \max_r \bm{A}_r\bm{u} + \bm{b}_r$.
• 잠재 공간이 다면체 영역으로 분할되는 것을 분석하며, 각 영역은 특정한 활성 아핀 맵에 대응한다.
• 변수 변경을 통해 잠재 밀도로부터 출력 밀도를 계산하기 위해 생성자 맵의 자코비안 행렬식을 유도한다.
• 각 영역 내 국소 아핀 기저 벡터를 사용하여 좌표계를 정의하고, 각도 제약 조건을 통해 분리 가능성 분석을 수행한다.
• 이 프레임워크를 드롭아웃과 드롭코너에 적용하여, 이들이 생성자 차원에 대한 혼합 모델을 유도함을 보여준다.

실험 결과

연구 질문

• RQ1 DGNs의 조각별 아핀 구조는 생성된 다양체의 내재 차원과 기하학적 성질에 어떻게 영향을 미치는가?
• RQ2 국소 아핀 기저 벡터에 어떤 조건이 충족되어야 잠재 공간에서 분리 가능성이 보장되는가?
• RQ3 생성된 다양체 위에서 출력 확률 밀도와 샤논 엔트로피를 어떻게 해석적으로 계산할 수 있는가?
• RQ4 왜 저엔트로피 또는 다중모달 분포는 DGNs에서 학습 불안정성을 유발하는가?
• RQ5 드롭아웃과 가중치 공유가 과다 파rameter화된 상태에서도 생성된 다양체의 곡률을 어떻게 제약하는가?

주요 결과

• 생성된 다양체의 내재 차원은 활성 아핀 영역의 수와 그들의 각도적 관계에 의해 결정되며, 잠재 공간 크기로 제한된다.
• 논문은 생성된 다양체 위에서 출력 확률 밀도에 대한 해석적 표현을 도출하여 가능도 계산과 모델 비교를 가능하게 한다.
• 출력 밀도의 샤논 엔트로피는 DGNs가 복잡한 저엔트로피 분포를 생성하는 데서의 어려움을 평가하는 새로운 지표가 된다.
• 저엔트로피 및 다중모달 분포는 표준 DGNs에 의해 잘 모델링되지 않으며, 다양체 기하학적 불일치로 인해 학습 불안정성이 발생한다.
• DGNs에서의 가중치 공유는 네트워크가 매우 과다 파rameter화되어 있더라도 생성된 다양체의 곡률을 심각하게 제약한다.
• 드롭아웃과 드롭코너 모두 차원과 파arameter가 다른 DGN의 혼합 모델을 유도하지만, 드롭코너는 항목별 노이즈 적용으로 인해 생성자 차원 감소 가능성이 더 낮다.