[논문 리뷰] A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model

Tan M. Nguyen, Nhat Ho외 4명|arXiv (Cornell University)|2018. 11. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 62인용 수 7

한 줄 요약

이 논문은 이미지 생성을 근본부터 세분화된 과정으로 모델링하는 구조적 잠재 변수를 통해 CNN을 역공학하는 베이지안 생성 프레임워크인 Deconvolutional Generative Model (DGM)을 소개한다. DGM은 공동 MAP 추정을 통한 CNN 추론을 유도하며, 새로운 정규화 기법인 Rendering Path Normalization (RPN)을 도입하고, Max-Min 교차 엔트로피 손실을 제안하여, SVHN, CIFAR10, CIFAR100에서 준지도 및 지도 학습 설정 모두에서 최신 기준 성능을 달성한다.

ABSTRACT

Inspired by the success of Convolutional Neural Networks (CNNs) for supervised prediction in images, we design the Deconvolutional Generative Model (DGM), a new probabilistic generative model whose inference calculations correspond to those in a given CNN architecture. The DGM uses a CNN to design the prior distribution in the probabilistic model. Furthermore, the DGM generates images from coarse to finer scales. It introduces a small set of latent variables at each scale, and enforces dependencies among all the latent variables via a conjugate prior distribution. This conjugate prior yields a new regularizer based on paths rendered in the generative model for training CNNs-the Rendering Path Normalization (RPN). We demonstrate that this regularizer improves generalization, both in theory and in practice. In addition, likelihood estimation in the DGM yields training losses for CNNs, and inspired by this, we design a new loss termed as the Max-Min cross entropy which outperforms the traditional cross-entropy loss for object classification. The Max-Min cross entropy suggests a new deep network architecture, namely the Max-Min network, which can learn from less labeled data while maintaining good prediction performance. Our experiments demonstrate that the DGM with the RPN and the Max-Min architecture exceeds or matches the-state-of-art on benchmarks including SVHN, CIFAR10, and CIFAR100 for semi-supervised and supervised learning tasks.

연구 동기 및 목표

• 주어진 CNN 아키텍처와 정확히 일치하는 추론 과정을 갖는 확률적 생성 모델을 개발하는 것.
• 복잡한 이미지 데이터를 위한 생성 모델에서 효과적인 사전 분포의 부족을 해결하기 위해 CNN 구조를 사전 분포에 통합하는 것.
• 생성 모델의 경로 구조에서 파생된 새로운 정규화 기법을 통해 CNN의 일반화 성능을 향상시키는 것.
• 생성 모델의 가능도 추정에서 새로운 학습 손실—Max-Min 교차 엔트로피—를 도출하여, 레이블이 적은 데이터로도 성능을 향상시키는 것.
• DGM 추론에서 자연스럽게 도출되는 CNN이 생성 모델링과 판별 학습을 통합하는 것.

제안 방법

• Deconvolutional Generative Model (DGM)은 각 스케일에 잠재 변수를 두고 계층적, 근본부터 세분화된 생성 과정을 사용하며, 공액 사전을 통해 상관관계를 강제한다.
• DGM은 ReLU 및 풀링과 같은 비가역적인 레이어를 역전시키기 위해 보조 잠재 변수를 도입함으로써 CNN 연산을 역전시켜 이미지 복원을 가능하게 한다.
• 모델의 사전 구조는 생성 그래프 내 경로 기반으로 새로운 정규화 기법인 Rendering Path Normalization (RPN)을 유도하며, 일반화 성능을 향상시킨다.
• DGM에서의 가능도 추정은 Max-Min 교차 엔트로피 손실을 유도하며, 이는 표준 교차 엔트로피보다 우수한 성능을 보인다.
• Max-Min 교차 엔트로피 손실은 저레이블 환경에서 잘 일반화되는 새로운 Max-Min 네트워크 아키텍처를 학습하는 데 사용된다.
• 이 방법은 DGM 프레임워크 내에서 변분 추론과 배치 정규화를 통합하여 학습 안정성과 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 주어진 CNN 아키텍처와 정확히 일치하는 추론 과정을 갖는 확률적 생성 모델을 설계할 수 있는가?
• RQ2 생성 모델의 구조적 사전 분포가 딥 러닝에서 일반화 성능을 향상시키는 데 어떻게 기여하는가?
• RQ3 계층적 생성 모델의 경로 구조에서 유도할 수 있는 새로운 정규화 기법은 무엇인가?
• RQ4 생성 모델의 가능도 추정에서 새로운, 더 효과적인 손실 함수를 유도할 수 있는가?
• RQ5 제안된 손실에서 유도된 새로운 네트워크 아키텍처—Max-Min 네트워크—는 레이블 데이터가 제한된 환경에서 성능 향상에 기여하는가?

주요 결과

• Deconvolutional Generative Model (DGM)은 CNN을 성공적으로 역공학하여, DGM의 하향식 추론이 정확히 CNN의 전방향 전파와 일치함을 입증하였다.
• 생성 모델의 경로 구조에서 유도된 Rendering Path Normalization (RPN)은 일반화 성능을 향상시키며, 깊은 네트워크에 대한 이론적 보장을 일반화한다.
• Max-Min 교차 엔트로피 손실은 표준 교차 엔트로피를 능가하며, 특히 데이터가 적은 환경에서 뛰어난 성능을 보이며, Max-Min 네트워크가 CIFAR10, CIFAR100, SVHN에서 최신 기준 성능을 달성하도록 한다.
• 준지도 학습 벤치마크에서 DGM에 RPN과 Max-Min 손실을 적용한 결과, SVHN, CIFAR10, CIFAR100 전반에서 최신 기준 성능을 초월하거나 이를 충족시켰다.
• MNIST에서 레이블이 50,000장 뿐인 경우에도 강력한 성능을 기록하여, 저데이터 환경에서의 강인함을 입증하였다.
• DGM 프레임워크 내에서 변분 추론과 모멘트 매칭 손실을 통합함으로써 학습 안정성과 성능이 추가로 향상되었다.