[논문 리뷰] Predicting distributions with Linearizing Belief Networks

Yann Dauphin, David Grangier|arXiv (Cornell University)|2015. 11. 17.

Image and Signal Denoising Methods참고 문헌 24인용 수 9

한 줄 요약

이 논문은 선형화된 신뢰망(LBNs)을 소개한다. LBNs는 깊이 있는 선형 경로를 제어하기 위해 곱셈형 이진 게이팅 유닛을 사용하는 새로운 종류의 확률적 신경망으로, 효율적인 훈련과 연속 조건부 분포의 보편적 근사가 가능하다. LBNs는 이미지 노이즈 제거 작업에서 이전의 신뢰망 및 최첨단 기법들을 능가하며, 몬테카를로 샘플링을 통해 더 선명하고 다양한 출력을 생성함으로써 최고의 PSNR 점수를 기록한다.

ABSTRACT

Conditional belief networks introduce stochastic binary variables in neural networks. Contrary to a classical neural network, a belief network can predict more than the expected value of the output $Y$ given the input $X$. It can predict a distribution of outputs $Y$ which is useful when an input can admit multiple outputs whose average is not necessarily a valid answer. Such networks are particularly relevant to inverse problems such as image prediction for denoising, or text to speech. However, traditional sigmoid belief networks are hard to train and are not suited to continuous problems. This work introduces a new family of networks called linearizing belief nets or LBNs. A LBN decomposes into a deep linear network where each linear unit can be turned on or off by non-deterministic binary latent units. It is a universal approximator of real-valued conditional distributions and can be trained using gradient descent. Moreover, the linear pathways efficiently propagate continuous information and they act as multiplicative skip-connections that help optimization by removing gradient diffusion. This yields a model which trains efficiently and improves the state-of-the-art on image denoising and facial expression generation with the Toronto faces dataset.

연구 동기 및 목표

• 이미지 노이즈 제거와 같은 불안정한 역문제에서 다중모달 연속 분포를 모델링하는 데에 기존 신경망의 한계를 해결하기 위해.
• 스토케스틱 단위와 결정론적 단위 간의 덧셈 상호작용을 사용하는 전통적 시그모이드 신뢰망(SBNs)에서 발생하는 훈련 불안정성과 기울기 흐름 문제를 극복하기 위해.
• 혼합 모델의 표현 능력과 깊이 있는 선형 네트워크의 훈련 효율성 및 기울기 기반 최적화를 결합한 모델을 개발하기 위해.
• 스토케스틱 게이팅을 통해 부드럽고 연속적인 출력 예측을 가능하게 하고, 더 나은 기울기 흐름을 지원하기 위해 곱셈형 스킵 커넥션을 제공하기 위해.
• 원칙적이고 미분 가능한 훈련 방법을 사용하여 이미지 노이즈 제거 및 얼굴 표정 생성 작업에서 최첨단 성능을 입증하기 위해.

제안 방법

• LBNs는 각 선형 단위가 비결정론적 이진 잠재 게이팅에 의해 조건적으로 활성화되는 깊이 있는 선형 네트워크로 분해되며, 이는 선형 모델의 혼합을 가능하게 한다.
• 이진 스토케스틱 게이팅과 결정론적 선형 단위 간의 곱셈 상호작용을 통해 기울기 분산 없이 조각별 선형, 비결정론적 함수를 학습할 수 있다.
• 스토케스틱 게이팅은 곱셈형 스킵 커넥션으로 작용하여 연속적인 정보 흐름을 유지하고 깊은 아키텍처에서의 기울기 소실을 줄인다.
• 모델은 몬테카를로 추정을 통한 로그우도 근사와 함께 최대우도 추정을 통해 훈련되며, 재구성 또는 스트레이트스러운 추정기를 통한 스토케스틱 게이팅을 통한 역전파가 가능하다.
• 게이팅을 통해 지수 크기의 하위넷워크를 조합함으로써 실수 조건부 분포 p(Y|X)의 보편적 근사를 가능하게 한다.
• 이전의 SBNs가 겪는 높은 분산 기울기 문제를 피하기 위해, 곱셈을 통한 스토케스틱 단위와 결정론적 단위의 분리가 이루어진다.

실험 결과

연구 질문

• RQ1 스토케스틱 이진 단위를 갖는 신뢰망이 딥러닝에서 복잡한 다중모달 연속 분포를 효과적으로 모델링할 수 있는가?
• RQ2 스토케스틱 게이팅은 깊은 네트워크에서 효율적인 역전파와 안정적인 훈련을 가능하게 하기 위해 어떻게 구성되어야 하는가?
• RQ3 스토케스틱 단위와 결정론적 단위 간의 곱셈 상호작용이 덧셈 상호작용보다 더 나은 기울기 흐름을 제공할 수 있는가?
• RQ4 LBN 아키텍처는 이미지 노이즈 제거 및 얼굴 표정 생성과 같은 역문제에서 최첨단 성능을 달성하는가?
• RQ5 LBN에서 몬테카를로 샘플링을 통해 다각적이고 고품질의 출력을 생성할 수 있는가? 이는 평균 예측 모델이 보이는 흐릿함을 피할 수 있는가?

주요 결과

• LBNs는 표준 테스트 이미지에서 σ=100일 때 이미지 노이즈 제거 작업에서 최고의 PSNR 점수를 기록하며, BM3D, GSM, FoE, K-SVD, LSSC와 같은 기존 기법들을 능가한다.
• σ=100일 때 Barbara 이미지에서 LBN은 PSNR 23.22 dB를 기록하여 BM3D(23.62 dB)와 다른 기법들을 능가하며, 더 선명하고 자연스러운 노이즈 제거 출력을 제공한다.
• σ=25일 때 평균 PSNR는 30.70 dB를 기록하여 BM3D(30.4 dB)를 略로 초월하며, 낮은 노이즈 환경에서도 뛰어난 성능을 보인다.
• 시각적 검토 결과, LBNs는 K=10일 때 샘플링을 통해 다양한 실제적인 노이즈 제거 이미지 변형을 생성함으로써 출력 분포를 효과적으로 모델링하고 있음을 확인한다.
• 얼굴 표정 생성 작업에서 LBNs는 다른 대안적 신뢰망보다 더 빠른 수렴과 더 나은 일반화 성능을 보이며, 개선된 최적화 및 표현 능력을 나타낸다.
• 강력한 결과에도 불구하고, 기대치의 몬테카를로 추정기는 다중모달 분포에 대해 충분하지 않아, 중요도 샘플링이나 적대적 훈련과 같은 개선된 샘플링 전략이 필요하다고 제안한다.