[논문 리뷰] Normalizing Flows on Tori and Spheres

Danilo Jimenez Rezende, George Papamakarios외 5명|arXiv (Cornell University)|2020. 02. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 58

한 줄 요약

논문은 원형, 토러스, 구면에 대해 표현력이 뛰어나고 수치적으로 안정적인 정규화 흐름을 S1에서 더 높은 차원으로 재귀적으로 구축해 개발하고, 이를 합성 방향성 대상에 대해 시연한다.

ABSTRACT

Normalizing flows are a powerful tool for building expressive distributions in high dimensions. So far, most of the literature has concentrated on learning flows on Euclidean spaces. Some problems however, such as those involving angles, are defined on spaces with more complex geometries, such as tori or spheres. In this paper, we propose and compare expressive and numerically stable flows on such spaces. Our flows are built recursively on the dimension of the space, starting from flows on circles, closed intervals or spheres.

연구 동기 및 목표

• 표준 유클리드 흐름과 비유클리드 데이터 위상(원, 토러스, 구면) 간의 불일치를 동기부여하고 해결한다.
• S1, TD(토러스), SD(구면)에서 간단한 빌딩 블록으로부터 재귀적으로 구성된 표현력 있는 정규화 흐름을 제안한다.
• 비유클리드 매니폴드에서 밀도 평가 및 샘플링의 수치적 안정성과 처리가능성을 보장한다.
• 이 매니폴드 인식 흐름을 방향성 통계학 및 기하학적 흐름의 기존 방법과 비교한다.

제안 방법

• 경계 조건을 갖추어 올바른 원 diffeomorphism을 보장하는 S1의 원 흐름을 구성한다 (Equations 3–6).
• 이어서 p(theta1,...,thetaD)로써 원함수들을 자기회귀적으로 결합하여 TD의 토러스 흐름을 구성한다.
• SD에 대해 재귀적 실린더 매핑과 밀도 업데이트를 통해 구면 흐름을 개발하고 명시적인 밀도 보정항을 제시한다.
• 삼 가지 원 특화 미분가능 변환: 모비우스 변환(Möbius transformations), 원형 스플라인(circular splines), 비가산 투영(NCP)을 도입한다.
• s1-c1 결합의 재귀적 확장을 통해 고차원으로 확장하고 SD의 지수 매핑(flow variant)을 도입한다.
• 밀도 변화 공식과 안정성 고려(예: equations 15–20) 및 계산상의 트레이드오프를 논의한다.

실험 결과

연구 질문

• RQ1 유클리드이외의 매니폴드인 S1, TD, SD에서 정규화 흐름을 정의하고 학습시키는 방법은 어떠한가?
• RQ2 원, 토러스, 구면에서 표현력이 있으면서도 수치적으로 안정적인 흐름을 얻으려면 어떤 구성들이 필요한가?
• RQ3 매니폴드 인식 흐름은 급하고 다모드이며 상관된 방향성 밀도 모델링에서 전통적 유클리드 흐름과 어떻게 비교되는가?
• RQ4 제안된 구면 및 토러스 흐름의 밀도 업데이트 규칙과 계산 비용은 무엇인가?
• RQ5 지수 매핑 기반 흐름은 구면에서 대안적이고도 다루기 쉬운 옵션을 제공할 수 있는가?

주요 결과

• Compact connected manifolds에서 표현력 있고 수치적으로 안정적인 원, 토러스, 구면 흐름을 제안하고 검증한다.
• 토러스 밀도는 원 기반 조건변환기로 자기회귀적으로 모델링될 수 있음을 보인다.
• 재귀 기반 구면 흐름은 원통 변환과 해석적으로 처리 가능한 밀도 업데이트(및 안정성 논의)로 나타난다.
• rich S1 흐름을 구축하기 위해 세 가지 원형 미분가능 변환(Möbius, circular splines, non-compact projection)을 제시한다.
• ESS 기반 평가로 합성 타깃에서 급하고 다모드이며 상관된 밀도를 학습할 수 있음을 보여주는 실험 결과를 제공한다.
• 재귀 구성을 위한 finite densities를 보장하는 밀도 업데이트 공식과 안정성 조건을 논의한다.