[논문 리뷰] Densely connected normalizing flows

Matej Grcić, Ivan Grubišić외 1명|arXiv (Cornell University)|2021. 06. 08.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 정규화 흐름 아키텍처인 DenseFlow를 제안하며, 상호 단위 간 아핀 결합을 통해 조건화된 노이즈를 점진적으로 중간 잠재 표현에 추가하여 표현력을 향상시킨다. 모듈 내 결합에서 밀집 연결 블록과 Nyström 자기주의를 융합함으로써, 중간 계산 비용에서 ImageNet32 및 ImageNet64에서 최신 기준 likelihood 성능을 달성한다. 이는 잠재 차원 분포와 노이즈 조건화가 깊이와 넓이 외에도 흐름 용량을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Normalizing flows are bijective mappings between inputs and latent representations with a fully factorized distribution. They are very attractive due to exact likelihood valuation and efficient sampling. However, their effective capacity is often insufficient since the bijectivity constraint limits the model width. We address this issue by incrementally padding intermediate representations with noise. We precondition the noise in accordance with previous invertible units, which we describe as cross-unit coupling. Our invertible glow-like modules increase the model expressivity by fusing a densely connected block with Nystrom self-attention. We refer to our architecture as DenseFlow since both cross-unit and intra-module couplings rely on dense connectivity. Experiments show significant improvements due to the proposed contributions and reveal state-of-the-art density estimation under moderate computing budgets.

연구 동기 및 목표

• 이중성 제약으로 인해 모델의 넓이가 제한되는 정규화 흐름의 표현력 부족 문제를 해결하기 위해.
• 계산 비용을 크게 증가시키지 않고도 likelihood 추정 성능을 향상시키기 위해.
• 점진적 노이즈 주입을 통해 전략적으로 잠재 차원을 증가시켜 모델 용량을 향상시키기 위해.
• 빠른 분석적 역함수 계산과 효과적인 특징 융합을 지원하는 효율적이고 가역적인 아키텍처를 설계하기 위해.
• 모델 깊이에 따른 잠재 분포 역학이 생성 성능에 미치는 영향을 탐색하기 위해.

제안 방법

• 이전 표현에 조건화된 스케일링과 이동을 통해 점진적으로 중간 잠재 표현에 노이즈를 추가하는 상호 단위 결합을 도입한다.
• 지역적 특징 상관관계와 글로벌 컨텍스트를 병렬적인 밀집 연결과 Nyström 자기주의를 통해 융합하는 새로운 모듈 내 결합 메커니즘을 활용한다.
• 각 가역 단위가 이중성과 변화량 공식을 통해 정확한 likelihood 계산을 가능하게 하는 재귀적 흐름 프레임워크를 적용한다.
• 특징 표현을 향상시키기 위해 주로 자기주의와 밀집 연결을 통합한 잔차 스타일 블록을 사용하는 Glow 유사 아키텍처를 적용한다.
• 이전 잠재 상태에서 유도된 아핀 변환을 통해 노이즈 주입을 조건화함으로써 제어되고 표현력 있는 흐름 역학을 가능하게 한다.
• 삼각형 자코비안 구조를 통해 계산 가능한 자코비안 행렬식을 활용하여 효율적인 likelihood 평가와 샘플링을 보장한다.

실험 결과

연구 질문

• RQ1 점진적인 노이즈 주입을 통해 중간 잠재 표현을 증강시키는 것이 정규화 흐름의 표현력을 향상시킬 수 있는가?
• RQ2 이전 표현에 조건화된 노이즈를 사용하는 상호 단위 결합은 흐름 용량과 likelihood 성능에 어떤 영향을 미치는가?
• RQ3 자기주의와 밀집 연결을 통한 국소적 및 글로벌 컨텍스트 융합이 가역 흐름의 모듈 내 결합을 향상시킬 수 있는가?
• RQ4 제어된 노이즈 주입을 통해 잠재 차원을 증가시키는 것이 중간 계산 비용에서 밀도 추정 성능을 향상시킬 수 있는가?
• RQ5 모델 깊이에 걸쳐 잠재 차원 분포가 어떻게 분포되어 있는지가 정규화 흐름의 종합적 생성 용량에 영향을 미치는가?

주요 결과

• DenseFlow는 유사한 계산 제약 조건 하에서 기존 정규화 흐름 모델들을 능가하는 ImageNet32 및 ImageNet64에서 최신 기준 likelihood 성능을 달성한다.
• 제안된 상호 단위 결합과 노이즈 조건화는 전통적인 깊이 또는 넓이 증가 없이도 모델 표현력을 크게 향상시킨다.
• 모듈 내 결합에서 밀집 연결과 Nyström 자기주의를 융합함으로써 특징 표현이 향상되고 더 나은 likelihood 추정이 가능해진다.
• 빠른 수렴과 낮은 메모리 사용을 보이며, 환경 영향이 적고 실용적인 확장성이 있음을 시사한다.
• 잠재 차원 분포가 총 용량 외에도 흐름 표현력에 결정적인 역할을 한다는 것이 결과적으로 입증되었다.
• 아키텍처는 빠른 분석적 역함수 계산과 정확한 likelihood 평가를 지원하여 효율적인 샘플링과 학습을 가능하게 한다.