[논문 리뷰] Deep Adversarial Belief Networks

Yuming Huang, Ashkan Panahi외 3명|arXiv (Cornell University)|2019. 09. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 4

한 줄 요약

이 논문은 딥 벨리프 네트워크(DBNs)를 위한 새로운 적대적 훈련 프레임워크를 제안하며, GAN의 생성기 대신 DBN을 사용하여 백프로파게이션을 필요로 하지 않고 병렬화 가능한 훈련을 가능하게 한다. 이 방법은 특히 데이터가 제한된 경우에 뛰어난 확장성과 일반화 성능을 보이며, DBN으로 미리 훈련된 경우 표준 CNN보다 분류 작업에서 슈퍼리어한 성능을 내며, 풀링 및 정규화와 같은 정규화 단위의 유연한 통합을 가능하게 한다.

ABSTRACT

We present a novel adversarial framework for training deep belief networks (DBNs), which includes replacing the generator network in the methodology of generative adversarial networks (GANs) with a DBN and developing a highly parallelizable numerical algorithm for training the resulting architecture in a stochastic manner. Unlike the existing techniques, this framework can be applied to the most general form of DBNs with no requirement for back propagation. As such, it lays a new foundation for developing DBNs on a par with GANs with various regularization units, such as pooling and normalization. Foregoing back-propagation, our framework also exhibits superior scalability as compared to other DBN and GAN learning techniques. We present a number of numerical experiments in computer vision as well as neurosciences to illustrate the main advantages of our approach.

연구 동기 및 목표

• 깁스 샘플링과 최대우도 기반 전통적인 DBN 훈련 방법에서의 느린 수렴성과 정규화 유연성 부족 문제를 해결하기 위해.
• 딥 네트워크(DNNs)에서 흔히 사용되는 정규화 단위—예를 들어 풀링과 정규화—를 백프로파게이션을 대체하는 적대적 훈련을 통해 DBN 내부에 통합할 수 있도록 하기 위해.
• GAN에 영감을 받은 확률적이고 병렬화 가능한 최적화 프레임워크를 통해 DBN 훈련의 확장성과 수치적 효율성을 향상시키기 위해.
• 복잡하고 희박한 데이터—예를 들어 생물학적 신경 스パイ크 트레인과 저데이터 비전 작업—을 모델링하는 데 DBN의 효과성을 입증하기 위해.
• GAN의 성능과 유연성과 동등한 수준이면서도 베이지안적, 생성적, 가역성 있는 특성을 유지하는 DBN의 새로운 훈련 패러다임을 구축하기 위해.

제안 방법

• GAN의 생성기를 딥 벨리프 네트워크(DBN)로 대체하여 딥 적대적 믿음 네트워크(DABN)를 구성한다.
• 판별기(real 데이터와 DBN에 의해 생성된 샘플을 구분)가 작용하는 적대적 훈련 목표를 도입하여, DBN을 통해 백프로파게이션 없이 엔드 투 엔드 최적화를 가능하게 한다.
• 층별로 수행되는 확률적 훈련 알고리즘을 사용하여 층 간에 매우 높은 병렬성 확보를 통해 기존 DBN 훈련 대비 확장성 향상을 이룬다.
• 현대 최적화 기법과의 호환성을 확보하기 위해 조건부 GAN 및 WGAN과 같은 다양한 GAN 변종에 적대적 프레임워크를 적용한다.
• 생성과 추론이 모두 가능한 대칭적이고 가역적인 추론 메커니즘을 DBN에 통합하여, 특징 추출 및 노이즈 제거와 같은 응용 가능성을 확보한다.
• 적대적 훈련 프레임워크를 활용하여 표준 DNN 정규화 기법—예를 들어 풀링 및 정규화—를 DBN 아키텍처에 통합한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 백프로파게이션을 대체하고 훈련 효율성을 향상시키기 위해 DBN에 효과적으로 적용될 수 있는가?
• RQ2 제안된 프레임워크는 DNN에서 흔히 사용되는 정규화 단위—예를 들어 풀링 및 정규화—를 DBN에 통합할 수 있는가?
• RQ3 DBN의 적대적 훈련이 표준 DBN 또는 CNN 훈련 대비 제한된 훈련 데이터에서 더 나은 일반화 성능을 보이는가?
• RQ4 DBN 기반 생성 모델은 희박한 생물학적 신경 스파이크 데이터의 통계적 특성을 효과적으로 포착할 수 있는가?
• RQ5 훈련 데이터가 부족한 상황에서 DBN으로 미리 훈련된 가중치를 사용해 피니테이닝한 CNN의 성능은 표준 CNN보다 어떻게 비교되는가?

주요 결과

• 소규모 MNIST 데이터셋(100개 샘플)에서 훈련한 CNN은 DBN으로 미리 훈련된 결과 77.772%의 정확도(표준편차 1.501%)를 기록했으며, 이는 표준 CNN의 70.037%(표준편차 6.32%)보다 유의미하게 높고 변동성이 낮았다.
• 1,000개의 훈련 샘플에서 DBN으로 미리 훈련된 CNN은 96.081%(표준편차 0.622%)의 정확도를 기록했고, 표준 CNN의 94.625%(표준편차 0.355%)보다 높은 일관성과 일반화 성능을 보였다.
• 실제 신경 스파이크 데이터의 로그우도가 훈련 중에 증가하여 DBN이 기저 확률 분포를 효과적으로 모델링하고 있음을 확인했다.
• DBN이 생성한 발화 확률은 낮은 전체 스파이크 레이트(~100프레임당 1회)에서도 쥐의 시각 피질 뉴런의 실제 발화 레이트와 매우 유사하게 일치했다.
• 백프로파게이션 없이도 복합적인 DBN—예를 들어 4층 컨볼루션 DBN과 4층 디스크리트 DBN—의 훈련이 성공적으로 수행되었다.
• 이 프레임워크는 조건부 GAN 및 WGAN을 포함한 다양한 GAN 변종과 호환되었으며, 다양한 최적화기와 훈련 방식을 지원했다.