[논문 리뷰] Iterative Refinement of the Approximate Posterior for Directed Belief Networks

R Devon Hjelm, Kyunghyun Cho외 4명|arXiv (Cornell University)|2015. 11. 19.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 방향성 신뢰망에서 변분 추론을 향상시키기 위해 근사 사후분포를 반복적으로 개선하는 반복 보정 방법(IRVI)을 제안한다. 이 방법은 적응형 중요도 샘플링을 사용해 인식망에서 유도된 사후분포 추정치를 반복적으로 개선한다. 이는 기울기 분산을 감소시키고, 유효 표본 크기를 증가시키며, 더 정확한 로그우도 추정치와 더 나은 생성 재구성 성능을 제공한다. 복잡한 인식 모델이 필요로 하지 않는다.

ABSTRACT

Variational methods that rely on a recognition network to approximate the posterior of directed graphical models offer better inference and learning than previous methods. Recent advances that exploit the capacity and flexibility in this approach have expanded what kinds of models can be trained. However, as a proposal for the posterior, the capacity of the recognition network is limited, which can constrain the representational power of the generative model and increase the variance of Monte Carlo estimates. To address these issues, we introduce an iterative refinement procedure for improving the approximate posterior of the recognition network and show that training with the refined posterior is competitive with state-of-the-art methods. The advantages of refinement are further evident in an increased effective sample size, which implies a lower variance of gradient estimates.

연구 동기 및 목표

• 고정된 용량을 가진 인식망의 한계를 해결하기 위해, 이는 모델의 표현력에 제약을 주고 기울기 분산을 증가시킨다.
• 초기 인식망 출력을 초월해 근사 사후분포를 개선하여, 방향성 그래픽 모델에서 로그우도 추정의 정확도를 향상시키기 위해.
• 반복적 개선이 훈련 효율성과 테스트 시 추론 품질을 향상시킬 수 있음을 보여주며, 특히 초기 사후분포가 열 劣한 경우에 유의미하다.
• 개선된 사후분포가 단순하거나 저용량의 인식망을 사용할 때조차 모델 용량을 더 정확히 평가할 수 있음을 보여주기 위해.

제안 방법

• 방법은 인식망을 통해 변분 사후분포를 초기화한 후, 적응형 중요도 샘플링(AIS)을 통해 반복적으로 사후분포를 개선한다.
• 각 개선 단계에서 알고리즘은 제안 분포에서 샘플을 추출하고, 이를 재가중하여 진정한 사후분포를 더 잘 근사한다.
• 개선된 사후분포를 사용해 더 날카로운 변분 하한을 계산하며, 이는 渐진적으로 편향이 없고 몬테카를로 기울기 추정치의 분산을 감소시킨다.
• 이 방법은 기대-최대화 유사한 구조를 따르며, E단계는 AIS를 통해 사후분포를 개선하고, M단계는 생성 모델 및 인식망 파라미터를 최적화한다.
• 이 방법은 일반적이며, 이산 잠복 변수를 포함한 모든 방향성 그래픽 모델에 적용 가능하며, 재정규화가 불가능한 경우에도 유용하다.
• 개선 과정은 유효 표본 크기를 증가시켜 더 정확하고 분산이 낮은 사후분포 근사치를 나타낸다.

실험 결과

연구 질문

• RQ1 반복적인 근사 사후분포 개선이 방향성 신뢰망에서 로그우도 추정의 정확도를 향상시킬 수 있는가?
• RQ2 사후분포 개선이 훈련 중 몬테카를로 기울기 추정치의 분산에 어떤 영향을 미치는가?
• RQ3 단순하거나 저용량의 인식망이 반복적 개선을 통해 얼마나 향상될 수 있으며, 이로써 모델의 진정한 생성 능력이 어떻게 드러나는가?
• RQ4 초기 인식망이 열 劣한 경우에도 개선된 사후분포가 더 나은 재구성과 추론 품질을 제공하는가?
• RQ5 표준 재정규화가 불가능한 이산 잠복 변수를 가진 모델에도 이 방법이 효과적으로 적용될 수 있는가?

주요 결과

• 적응형 중요도 샘플링(AIS)을 통한 반복적 개선은 사후분포 근사의 유효 표본 크기를 증가시켜 기울기 추정치의 분산을 크게 감소시킨다.
• 스igmoid 신뢰망의 단일층에서 20개의 스토케스틱 유닛을 사용한 경우, 100회의 개선 단계를 거친 후의 사후분포는 정확한 값 -127.474에 가까워지며, 개선되지 않은 경우의 로그우도 추정 오차 -127.51에서 -127.48로 개선되었다.
• 개선된 사후분포에서 유도된 재구성은 초기 인식망에서의 결과보다 일관되게 더 높은 품질을 보였으며, MNIST 샘플에서는 더 명확한 숫자 정체성이 드러났다.
• 원래 인식망 파라미터의 20%만 사용해도 반복적 개선을 통해 Caltech-101 실루엣에서 의미 있는 이미지 구조를 성공적으로 복원했다.
• 단순한 사후분포에서의 추론 품질 향상을 입증하여, 높은 품질의 추론이 복잡한 인식 모델이 반드시 필요한 것은 아님을 보여주었다.
• 개선된 사후분포를 통해 모델 용량 평가가 더 정확해졌으며, 특히 초기 인식망이 진정한 사후분포를 포괄하지 못하는 경우에 뚜렷한 효과를 보였다.