[논문 리뷰] MintNet: Building Invertible Neural Networks with Masked Convolutions

Yang Song, Chenlin Meng외 1명|arXiv (Cornell University)|2019. 07. 18.

Neural Networks and Applications참고 문헌 27인용 수 11

한 줄 요약

MintNet는 가중치 마스크를 적용한 컨볼루션과 역행성 보장 및 야코비안 행렬식 효율 계산을 위한 조합 규칙을 사용하여 역가능한 신경망을 구성하는 새로운 프레임워크를 제안한다. 이 방법은 고정점 반복을 통한 빠르고 병렬 처리 가능한 역행성 계산을 가능하게 하며, MNIST, CIFAR-10, ImageNet 32×32에서 각각 0.98, 3.32, 4.06 비트/차원의 최신 기준 성능을 달성한다. 이는 이전 모델보다 적은 파라미터와 계산 자원을 사용한다.

ABSTRACT

We propose a new way of constructing invertible neural networks by combining simple building blocks with a novel set of composition rules. This leads to a rich set of invertible architectures, including those similar to ResNets. Inversion is achieved with a locally convergent iterative procedure that is parallelizable and very fast in practice. Additionally, the determinant of the Jacobian can be computed analytically and efficiently, enabling their generative use as flow models. To demonstrate their flexibility, we show that our invertible neural networks are competitive with ResNets on MNIST and CIFAR-10 classification. When trained as generative models, our invertible networks achieve competitive likelihoods on MNIST, CIFAR-10 and ImageNet 32x32, with bits per dimension of 0.98, 3.32 and 4.06 respectively.

연구 동기 및 목표

• 분류 및 생성 태스크 모두에 적합한 유연하고 효율적이며 역가능한 신경망 아키텍처를 개발하기 위해.
• 플로우 기반 생성 모델을 위한 야코비안 행렬식의 정확하고 효율적인 계산을 가능하게 하기 위해.
• 표준 ResNet 블록과 동일한 계산 비용을 가지며 수치적으로 안정적이고 병렬 처리 가능한 역행성 절차를 설계하기 위해.
• 이미지 분류 및 밀도 추정에서 기존 모델과 동등하거나 이를 초월하는 성능을 보이는 깊이 있는 역가능한 네트워크를 구축하기 위해.
• 표준 벤치마크에서 likelihood 성능을 유지하거나 향상시키면서 모델 복잡성과 학습 자원 요구량을 줄이기 위해.

제안 방법

• 메서드는 삼각형 야코비안 행렬을 기본으로 하여 효율적인 행렬식 계산을 보장하는 역가능 모듈을 구성한다.
• 기본 삼각형 모듈을 재귀적으로 조합하는 규칙 집합을 통해 더 복잡한 비선형 역가능 모듈을 구성하며, 야코비안이 비특이성이 유지되는 한 역가능성이 유지된다.
• 마스크 컨볼루션은 기본 빌딩 블록으로서, 조합 규칙의 역가능성 조건을 충족시키기 위해 제약 조건이 적용된다.
• 역행성은 국소 수렴성과 병렬 처리가 가능한 고정점 반복(알고리즘 1)을 통해 계산되며, 이론적 수렴 보장이 있다.
• 아키텍처는 ResNet 스타일의 블록을 따르며, 여러 개의 'Mint 레이어'를 스택하여 깊이 있는 역가능한 네트워크(MintNet)를 구성한다.
• 야코비안 행렬식은 야코비안 행렬의 삼각형 구조 덕분에 분석적으로 정확하고 효율적으로 계산된다.

실험 결과

연구 질문

• RQ1 우리는 역가능성과 빠른 역행성 계산이 모두 가능한 민감하고 효율적인 역가능 신경망의 가족을 구성할 수 있는가?
• RQ2 깊은 아키텍처에서도 근사 없이 정확하고 효율적인 야코비안 행렬식 계산을 달성할 수 있는가?
• RQ3 표준 ResNet 블록과 동일한 계산 비용을 가지며 수치적으로 안정적이고 병렬 처리 가능한 역행성 방법을 설계할 수 있는가?
• RQ4 이러한 네트워크는 이미지 분류와 플로우 기반 생성 모델링 양 측면에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 표준 벤치마크에서 likelihood 성능을 유지하거나 향상시키면서 모델 파라미터와 학습 계산 자원을 줄일 수 있는가?

주요 결과

• MintNet는 MNIST에서 99.6%의 정확도와 CIFAR-10에서 91.2%의 정확도를 달성하여 유사한 아키텍처의 ResNets와 동등하거나 근접한 성능를 보였다.
• 생성 모델링에서 MintNet는 MNIST에서 0.98 비트/차원, CIFAR-10에서 3.32 비트/차원, ImageNet 32×32에서 4.06 비트/차원을 기록하여 새로운 최신 기준 성능를 수립했다.
• MNIST 모델은 FFJORD보다 30% 적은 파라미터를 사용했으며, CIFAR-10과 ImageNet 모델은 각각 Glow보다 60%와 74% 적은 파라미터를 사용했다.
• CIFAR-10 학습은 약 5일 동안 2개의 GPU만으로 수행되었으며, FFJORD는 6개, Glow는 8개의 GPU가 필요했기에 상당한 효율성 향상을 보였다.
• MNIST에서는 자동회귀 모델 대비 약 5배 빠른 속도로 샘플링이 가능했고, CIFAR-10과 ImageNet 32×32에서는 약 25배 빠르게 샘플링되었다.
• 재구성 오차는 120회 반복 이내에 수렴하였으며, 재구성된 이미지는 실제 이미지와 시각적으로 구분되지 않아 역행성 절차의 효과성을 확인했다.