[논문 리뷰] Copula & Marginal Flows: Disentangling the Marginal from its Joint

Magnus Wiese, Robert Knobloch외 1명|arXiv (Cornell University)|2019. 07. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 10

한 줄 요약

이 논문은 코풀라 플로우와 마진널 플로우를 결합한 새로운 딥 생성 모델인 코풀라 및 마진널 플로우(CM 플로우)를 소개한다. 이 모델은 코풀라 플로우와 마진널 플로우를 활용해 근원 분포와 의존성 구조를 분리한다. 논문은 표준 생성 네트워크가 리프시츠 연속성 제약으로 인해 꼬리 渐近값을 정확히 모델링할 수 없음을 증명하고, 수치 실험을 통해 CM 플로우가 복잡한 코풀라를 매우 정확하게 근사하면서도 균일한 마진널을 유지해 정확한 꼬리 모델링을 가능하게 함을 보여준다.

ABSTRACT

Deep generative networks such as GANs and normalizing flows flourish in the context of high-dimensional tasks such as image generation. However, so far exact modeling or extrapolation of distributional properties such as the tail asymptotics generated by a generative network is not available. In this paper, we address this issue for the first time in the deep learning literature by making two novel contributions. First, we derive upper bounds for the tails that can be expressed by a generative network and demonstrate Lp-space related properties. There we show specifically that in various situations an optimal generative network does not exist. Second, we introduce and propose copula and marginal generative flows (CM flows) which allow for an exact modeling of the tail and any prior assumption on the CDF up to an approximation of the uniform distribution. Our numerical results support the use of CM flows.

연구 동기 및 목표

• 딥 생성 네트워크에서 극단가 분석을 위한 정확한 꼬리 모델링의 부재를 해결하기 위해.
• 기본 생성 네트워크가 내재된 리프시츠 제약으로 인해 꼬리 행동을 정확히 모델링할 수 없음을 증명하기 위해.
• 마진널 분포와 의존성 구조를 명시적으로 분리할 수 있는 새로운 아키텍처인 코풀라 및 마진널 플로우(CM 플로우)를 제안하기 위해.
• 수치 실험을 통해 CM 플로우가 복잡한 코풀라를 밀도적으로 근사하면서도 정확한 꼬리 외삽을 위한 균일한 마진널을 유지할 수 있음을 보여주기 위해.

제안 방법

• CM 플로우는 공동 분포를 의존성 구조를 모델링하는 코풀라 플로우와 개별 누적분포함수(CDF)를 모델링하는 마진널 플로우로 분해한다.
• 코풀라 플로우는 리얼 NVP 기반 플로우와 역함수 가능한 CDF(예: 시그모이드)의 조합으로 구성되며, [0,1]-값 출력을 보장한다.
• 마진널 플로우는 데이터의 경험적 CDF를 역으로 학습함으로써 정확한 마진널 모델링을 가능하게 한다.
• 모델은 역함수 변환의 교환도형을 사용한다: Z → U → C → X, 여기서 U는 균일분포이고 C는 코풀라이다.
• 한 변수는 변환되고 다른 변수는 균일한 상태를 유지하는 제약 조건이 적용된 이元 코풀라 플로우를 도입하여 정확한 마진널을 유지한다.
• 훈련은 젠슨-쇼넬 분산 기반의 중단 기준, 마진널 균일도 지표(T) 및 최대 밀도 편차(M)를 최적화하여 수행된다.

실험 결과

연구 질문

• RQ1 GAN이나 정규화 플로우와 같은 표준 딥 생성 네트워크가 목표 분포의 꼬리 渐 asymptotics를 정확히 모델링할 수 있는가?
• RQ2 기존 생성 네트워크에서 정확한 꼬리 모델링을 방해하는 이론적 제약은 무엇인가?
• RQ3 마진널 분포와 의존성 구조를 명시적으로 분리할 수 있는 딥 생성 모델을 구축할 수 있는가?
• RQ4 코풀라 및 마진널 플로우는 복잡한 코풀라를 고 fidelity 근사하면서도 정확한 균일 마진널을 유지할 수 있는가?
• RQ5 정확한 극단가 행동 외삽을 가능하게 하는 플로우 기반 모델을 설계할 수 있는가?

주요 결과

• 이론적 분석을 통해 리프시츠 연속성 생성자와 함께 작동하는 모든 생성 네트워크의 꼬리 渐 asymptotics는 더 가벼운 尾 분포에 의해 제한됨을 증명하였으며, 이는 정확한 꼬리 모델링이 일반적으로 불가능함을 의미한다.
• 입력 노이즈의 p차 모멘트가 유계일 경우 Lp 공간에서 최적의 생성 네트워크가 존재하지 않음을 보여주었으며, 이는 리프시츠 제약으로 인한 것이다.
• 수치 결과에 따르면, CM 플로우는 클레이튼 코풀라(매개수 2)에서 젠슨-쇼넬 분산 2.40×10⁻⁴, 프랭크 코풀라(매개수 5)에서 6.89×10⁻⁴, 검은 코풀라(매개수 5)에서 5.96×10⁻³을 기록하여 높은 근사 정확도를 확보하였다.
• 모든 벤치마크에서 T(1,25) 및 T(2,25) 지표가 1.3×10⁻⁴ 이하로 유지되어 유도된 마진널이 거의 균일함을 확인하였다.
• 최대 밀도 편차 M(1,25) 및 M(2,25)는 5.0×10⁻² 이하로 유지되어 지지역 전체에서 일관된 밀도 추정이 이루어졌음을 나타냈다.
• 제약 조건이 적용된 이원 코풀라 플로우의 사용은 마진널을 정확히 유지하여 한 변수에 대한 정확한 꼬리 모델링을 가능하게 하였다.