[논문 리뷰] Unconstrained Monotonic Neural Networks

Antoine Wehenkel, Gilles Louppe|Open Repository and Bibliography (University of Liège)|2019. 08. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 9

한 줄 요약

이 논문은 제약된 가중치나 활성화 함수를 통해가 아니라, 자유형 신경망을 사용하여 네트워크 출력의 도함수가 엄격히 양수임을 보장함으로써 신경망의 단조성을 강제하는 새로운 아키텍처인 Unconstrained Monotonic Neural Networks(UMNN)를 소개한다. 이 방법은 제약이 없는 대체 방법보다 더 높은 표현력을 갖춘 가역적이고 플로우 기반의 밀도 추정을 가능하게 하며, 밀도 추정 및 변분 추론에서 최신 기준 성능을 달성한다.

ABSTRACT

Monotonic neural networks have recently been proposed as a way to define invertible transformations. These transformations can be combined into powerful autoregressive flows that have been shown to be universal approximators of continuous probability distributions. Architectures that ensure monotonicity typically enforce constraints on weights and activation functions, which enables invertibility but leads to a cap on the expressiveness of the resulting transformations. In this work, we propose the Unconstrained Monotonic Neural Network (UMNN) architecture based on the insight that a function is monotonic as long as its derivative is strictly positive. In particular, this latter condition can be enforced with a free-form neural network whose only constraint is the positiveness of its output. We evaluate our new invertible building block within a new autoregressive flow (UMNN-MAF) and demonstrate its effectiveness on density estimation experiments. We also illustrate the ability of UMNNs to improve variational inference.

연구 동기 및 목표

• 기존의 제약된 가중치나 활성화 함수를 통해 단조성을 강제하는 단조성 신경망의 표현력 한계를 극복하기 위해.
• 단조성을 유지하면서도 높은 표현 능력을 갖춘 유연한 제약 없는 아키텍처를 개발하기 위해.
• 새로운 아키텍처를 정규화 플로우 프레임워크에 통합하여 밀도 추정 및 변분 추론을 향상시키기 위해.
• 단조성이 가중치나 활성화 함수에 대한 아키텍처 제약 없이도 구현될 수 있는지 확인하기 위해.
• 밀도 추정 벤치마크와 변분 추론 작업에서 방법을 검증하기 위해.

제안 방법

• 핵심 아이디어는 함수가 도함수가 엄격히 양수일 때 단조적이므로, 단조성을 보장하기 위해 신경망의 출력을 양수로 제약하는 것이다.
• 네트워크의 도함수는 역전파를 통해 계산되며, 양수 제약은 최종 레이어에 소프트플러스 또는 ReLU 활성화 함수를 사용하여 적용된다.
• 표준 전방향 신경망을 사용하고 최종 레이어 출력을 양수로 제약함으로써 전체 함수가 엄격히 증가함을 보장한다.
• 이 방법은 자동회귀 플로우 프레임워크에 통합되어 UMNN-MAF 모델을 형성하며, 이는 가역적이고 정규화 플로우 기반의 밀도 추정을 가능하게 한다.
• 모델은 학습된 분포 하에서 데이터의 로그우도에 대한 최대우도추정법을 사용하여 훈련된다.
• 이 접근법은 기존의 단조성 네트워크와 달리 가중치나 활성화 함수에 제약이 없는 자유형 아키텍처 설계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가중치나 활성화 함수에 제약을 두지 않고도 신경망에서 단조성을 강제할 수 있는가?
• RQ2 양수 도함수를 보장하는 제약 없는 아키텍처가 제약된 단조성 네트워크보다 더 높은 표현력을 갖출 수 있는가?
• RQ3 UMNN는 정규화 플로우에서 밀도 추정에 효과적으로 사용될 수 있는가?
• RQ4 기존 방법과 비교해 UMNN 기반 플로우가 밀도 추정 벤치마크에서 성능 향상을 이룰 수 있는가?
• RQ5 더 유연한 정규화 플로우를 가능하게 함으로써 UMNN는 변분 추론을 향상시킬 수 있는가?

주요 결과

• UMNN 아키텍처는 기존의 단조성 플로우 모델보다 뛰어난 성능을 보이며 밀도 추정 벤치마크에서 최신 기준 성능을 달성한다.
• 가중치나 활성화 함수에 대한 아키텍처 제약을 제거함으로써 제약된 단조성 네트워크보다 더 높은 표현력을 갖춘다.
• UMNN-MAF 모델은 RealNVP 및 NSSE 벤치마크를 포함한 표준 밀도 추정 데이터셋에서 뛰어난 성능을 보였다.
• 더 유연하고 표현력 있는 정규화 플로우를 허용함으로써 변분 추론을 향상시켰다.
• 기준 밀도 추정 데이터셋에서 경쟁적인 우도 점수를 기록하였으며, 기존의 단조성 플로우보다 향상되었고 비단조성 기준 모델과도 경쟁 가능한 성능을 보였다.
• 제거 실험을 통해 양수 도함수 제약이 가역성과 성능에 필수적이며, 제약 없는 설계가 더 나은 최적화와 일반화를 가능하게 한다는 것이 확인되었다.