[논문 리뷰] A Method to Model Conditional Distributions with Normalizing Flows

Zhisheng Xiao, Qing Yan외 1명|arXiv (Cornell University)|2019. 11. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 5

한 줄 요약

이 논문은 단일 통합 가능도 손실을 사용하여 조건부 분포를 모델링하기 위한 새로운 정규화 흐름 방법을 제안한다. 이는 역 문제 해결과 조건부 생성에 대해 효율적이고 안정적인 훈련을 가능하게 하며, 수시로 조정이 필요한 하이퍼파rameter를 갖는 다중 손실 항목에 의존하지 않는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we investigate the use of normalizing flows to model conditional distributions. In particular, we use our proposed method to analyze inverse problems with invertible neural networks by maximizing the posterior likelihood. Our method uses only a single loss and is easy to train. This is an improvement on the previous method that solves similar inverse problems with invertible neural networks but which involves a combination of several loss terms with ad-hoc weighting. In addition, our method provides a natural framework to incorporate conditioning in normalizing flows, and therefore, we can train an invertible network to perform conditional generation. We analyze our method and perform a careful comparison with previous approaches. Simple experiments show the effectiveness of our method, and more comprehensive experimental evaluations are undergoing.

연구 동기 및 목표

• 다양한 가중치를 갖는 다중 손실 항목이 필요 없이도 정규화 흐름을 조건부 분포를 모델링하는 데 사용할 수 있는 통합된 단일 손실 훈련 프레임워크를 개발하는 것.
• 역행성 신경망을 사용하여 관측된 데이터가 주어졌을 때 잠재 변수의 사후 분포를 학습하여 역 문제에 대한 효과적인 추론을 가능하게 하는 것.
• 특정 입력 조건에 따라 데이터 분포를 학습함으로써 이미지 토닝 및 이미지 간 전환과 같은 조건부 생성 작업을 지원하는 것.
• 정규화 흐름에 조건부 설정을 자연스럽고 확장 가능한 방식으로 통합할 수 있는 프레임워크를 제공하여 모델링 및 생성 능력을 향상시키는 것.
• 이전의 복잡한 손실 조합과 하이퍼파ram터 조정에 의존하는 방법들과의 비교를 통해 제안된 방법의 강인성과 성능을 경험적으로 검증하는 것.

제안 방법

• 이 방법은 간단한 사전 분포에서 복잡한 조건부 분포로의 변환을 모델링하기 위해 조건부 정규화 흐름을 사용하며, 이는 역행성 신경망을 기반으로 한다.
• 변수 교체 공식을 통해 조건부 밀도를 정의하며, 데이터의 로그 가능도는 잠재 변수의 로그 가능도와 흐름의 자코비안 행렬식을 사용하여 계산된다.
• 유한한 역행성과 자코비안 계산을 가능하게 하기 위해 입력을 부분으로 나누고, 한 부분은 다른 부분에 따라 변환되는 커파링 레이어로 구성된 흐름이 구축된다.
• 단일 손실 함수를 사용하여 사후 가능도를 최대화함으로써 훈련이 이루어지며, 이는 다중 손실 항목이나 수동적인 하이퍼파ram터 조정이 필요 없음을 의미한다.
• 동일한 역행성 아키텍처를 통해 후행 추정(사후 분포 추정)과 생성(조건부 분포에서 샘플링)이 모두 가능하다.
• 다양한 조건부 설정을 위한 유연한 조건부 변수로 느슨한 one-hot 레이블을 통합하여, 미분 가능한 조건부 설정과 함께 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 가중치를 갖는 다중 손실 항목에 의존하지 않고도 단일 통합 가능도 손실을 사용하여 조건부 분포를 위한 정규화 흐름을 훈련시킬 수 있는가?
• RQ2 이전의 다중 손실 구성 요소를 사용하는 방법들과 비교했을 때, 제안된 방법은 역 문제 해결에 있어 어떤 성능을 보이는가?
• RQ3 제안된 조건부 정규화 흐름은 특정 입력(예: 클래스 레이블 또는 이미지 특징)에 따라 고해상도 샘플을 효과적으로 생성할 수 있는가?
• RQ4 이전 방법들과 달리, 하이퍼파ram터 변화나 손실 항목 제거에 대해 제안된 방법은 강인한 성능을 유지하는가?
• RQ5 이 모델은 조건부 생성과 사후 추정을 위한 엔드 투 엔드 추론 네트워크로서 얼마나 잘 기능하는가?

주요 결과

• 혼합 실험에서 이 방법은 다중 손실 항목과 정교한 조정을 사용한 이전 방법들과 거의 동일한 사후 분포 복원 성능을 달성한다.
• 핵심 손실 항목(예: 역방향 손실)을 제거하거나 가중치를 변경하면 이전 방법들은 성능이 크게 떨어지지만, 제안된 방법은 단일 손실로도 강인성을 유지한다.
• MNIST 및 Fashion-MNIST 데이터셋에서 클래스 레이블에 조건부로 고해상도이고 다양한 샘플을 생성하며, 모든 클래스에서 뛰어난 시각적 품질을 확보한다.
• 전방향 추론을 사용하여 MNIST에서 98.4%, Fashion-MNIST에서 90.1%의 분류 정확도를 달성하여, 생성 기능을 넘어서도 유용한 성능을 보인다.
• 고정된 z(잠재 변수)가 서로 다른 레이블에서 일관된 스타일을 생성함으로써 스타일(잠재 변수 z를 통해)과 클래스 레이블 간의 분리가 뚜렷하게 확인된다.
• 이 방법은 정규화 흐름에 조건부 설정을 자연스럽고 확장 가능한 방식으로 통합할 수 있는 프레임워크를 제공하며, 단일 아키텍처 내에서 사후 추정과 조건부 생성을 모두 가능하게 한다.