[논문 리뷰] Set Flow: A Permutation Invariant Normalizing Flow

Kashif Rasul, Ingmar Schuster외 2명|arXiv (Cornell University)|2019. 09. 06.

3D Shape Modeling and Analysis참고 문헌 16인용 수 6

한 줄 요약

Set Flow는 Real NVP 스타일의 결합 레이어와 Deep Set 스타일의 순열 불변 함수를 조합하여 유한한 순서 없는 고차원 데이터를 모델링하는 순열 불변 정규화 흐름이다. 이는 다양한 크기의 집합에서도 정확한 우도 평가와 효율적인 학습을 가능하게 하며, ModelNet40과 같은 3D 포인트 클라우드 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

We present a generative model that is defined on finite sets of exchangeable, potentially high dimensional, data. As the architecture is an extension of RealNVPs, it inherits all its favorable properties, such as being invertible and allowing for exact log-likelihood evaluation. We show that this architecture is able to learn finite non-i.i.d. set data distributions, learn statistical dependencies between entities of the set and is able to train and sample with variable set sizes in a computationally efficient manner. Experiments on 3D point clouds show state-of-the art likelihoods.

연구 동기 및 목표

• 데이터 포인트가 순서가 없고 상호의존적일 수 있는 유한한 교환 가능 집합 분포를 명시적으로 학습하는 생성 모델을 개발하는 것.
• 기존 모델이 de Finetti 정리에 기반해 무한한 교환 가능 수열을 가정하는 한계를 해결하고, 유한하고 i.i.d.가 아닌 집합을 모델링하는 것.
• 역행성과 정확한 로그 우도 계산을 유지하면서 다양한 크기의 집합에서 효율적인 학습과 추론을 가능하게 하는 것.
• 예를 들어 원 위의 등거리로 배열된 점들 또는 구조적인 3D 포인트 클라우드와 같은 집합 내 요소 간의 복잡한 통계적 의존성을 포착하는 것.
• 정규화 흐름과 순열 불변 집합 함수를 조합한 확장 가능하고 미분 가능한 아키텍처를 제공하여 밀도 추정에 활용하는 것.

제안 방법

• Real NVP 정규화 흐름을 확장하여, Deep Set 스타일의 전역 풀링을 통해 집합에 대해 작용하는 순열 불변 결합 메커니즘을 도입한다.
• 입력 순서에 영향을 받지 않는 결합 변환을 계산하기 위해 학습 가능한 신경망 집합을 사용하며, 이를 전역 집합 임베딩에 조건화한다.
• 일부 변수의 변환은 Deep Set 인코더를 통해 계산된 전체 집합의 순열 불변 요약에 따라 결정되는 결합 레이어를 적용한다.
• 전역 노이즈 벡터와 개별 요소 전용 노이즈 벡터를 모두 역행성 흐름을 통해 변환하며, 최종 밀도는 변수 변화 공식을 통해 계산된다.
• 유연한 자코비안 행렬식의 가용성 덕분에 최대 우도 추정과 확률적 경량 최적화를 통해 모델을 학습한다.
• 입력 집합의 전역 표현을 계산하기 위해 Deep Set 아키텍처를 사용하며, 이를 결합 레이어의 조건으로 활용하여 순열 불변성을 보장한다.

실험 결과

연구 질문

• RQ1 유한 집합에 대해 정확한 로그 우도 평가가 가능하면서도 순열 불변인 정규화 흐름을 설계할 수 있는가?
• RQ2 이러한 모델은 등거리로 배열된 점들 또는 3D 기하학적 구조와 같은 복잡한 비i.i.d. 의존성을 포착할 수 있는가?
• RQ3 모델은 다양한 크기의 집합에 일반화되며, 학습 및 추론 시 계산 효율성을 유지하는가?
• RQ4 3D 포인트 클라우드 생성 작업에서 기존 최고 성능 모델과 비교해 우도 성능은 어떻게 되는가?
• RQ5 모델은 고정된 위상 관계를 가진 랜덤 원 위의 점들로 구성된 유한한 교환 가능 데이터의 기초 생성 과정을 학습할 수 있는가?

주요 결과

• Set Flow는 ModelNet40의 항공기 및 의자 클래스에서 각각 평균 테스트 로그 우도 4.10 ± 0.35와 2.045 ± 0.25로 최신 기준 성능을 달성한다.
• 모델은 합성 3D 포인트 클러스터에서 등거리 위상 분포를 성공적으로 포착하여, 진짜 값과 유사한 등거리 피크를 추론한 위상에서 관찰된다.
• 생성 구조를 포착함에도 불구하고, 진짜 값보다 작은 원의 반지름과 더 높은 위상 분포 분산을 보이는 편향이 존재한다.
• 300만 개의 학습 샘플 이후, 모델은 2D 원형 집합에서 비i.i.d. 등거리 성질을 재현하여 기초 의존성 구조를 학습한 것으로 나타났다.
• 학습된 모델의 잠재 공간에서의 선형 보간은 서로 다른 클래스 간 전환(예: 의자에서 항공기로) 시 유의미한 중간 포인트 클라우드를 생성한다.
• 40개 클래스의 공동 학습에 일반화되어 평균 테스트 로그 우도 2.143 ± 0.318을 기록하며, PILET-VAE 및 BRUNO와 같은 이전 방법들을 능가한다.