[논문 리뷰] Deep Generative Models with Learnable Knowledge Constraints

Zhiting Hu, Zichao Yang외 5명|arXiv (Cornell University)|2018. 06. 26.

Topic Modeling인용 수 40

한 줄 요약

이 논문은 posterior regularization(PR)를 강화 학습의 한 형태로 재해석하여 딥 생성 모델을 안내하는 제약을 학습하고, 이미지 및 텍스트 생성 모두에 대해 모델-중립적이고 학습 가능한 지식 제약을 가능하게 한다. 이는 f_phi 제약 함수를 학습하고 p_theta 생성 모델을 학습시키는 RL 기반 알고리즘을 제안하며, 암시적 모델을 포함한다.

ABSTRACT

The broad set of deep generative models (DGMs) has achieved remarkable advances. However, it is often difficult to incorporate rich structured domain knowledge with the end-to-end DGMs. Posterior regularization (PR) offers a principled framework to impose structured constraints on probabilistic models, but has limited applicability to the diverse DGMs that can lack a Bayesian formulation or even explicit density evaluation. PR also requires constraints to be fully specified a priori, which is impractical or suboptimal for complex knowledge with learnable uncertain parts. In this paper, we establish mathematical correspondence between PR and reinforcement learning (RL), and, based on the connection, expand PR to learn constraints as the extrinsic reward in RL. The resulting algorithm is model-agnostic to apply to any DGMs, and is flexible to adapt arbitrary constraints with the model jointly. Experiments on human image generation and templated sentence generation show models with learned knowledge constraints by our algorithm greatly improve over base generative models.

연구 동기 및 목표

• 다양한 심층 생성 모델(DGMs)에 대해 완전히 명시된 사전 지정보다 더 풍부하고 구조화된 도메인 지식을 통합하려는 동기를 부여한다.
• 학습 중에 적응하는 학습 가능한 제약을 지원하도록 PR를 확장한다.
• 데이터로부터 제약 함수를 학습하기 위해 최대 엔트리 IRL 등 강화 학습의 통찰을 활용한다.
• 암시적 및 명시적 DGMs와 함께 작동하는 실용적이고 모델-독립적인 알고리즘을 개발한다.
• 이미지(자세 조건부 인물 이미지) 및 텍스트(템플릿 지향) 작업에서 생성 향상을 입증한다.

제안 방법

• PR와 엔트로피 정규화 RL 사이의 수학적 대응 관계와 PR와 MaxEnt IRL 사이의 대응 관계를 설정한다.
• 제약을 학습 가능한 함수 f_phi(x)로 표현하고 EM 스타일 절차를 통해 최적화한다.
• f_phi의 학습을 MaxEnt IRL에서 보상 학습으로 간주하고, p_theta를 제안으로 활용하는 중요 샘플링을 이용한 그래디언트 추정치를 사용한다.
• p_theta가 암시적일 때는 밀도 평가를 피하기 위해 역 KL 최적화를 채택하고, 이는 적대적 학습 직관과 맞춘다.
• 제약 매개변수 phi를 반복적으로 업데이트한다(Eq. 8를 통해) 그리고 생성 모델 매개변수 theta를(Eq. 12 또는 Eq. 10으로, 밀도 평가 가능성에 따라) 업데이트한다.
• 프레임워크를 에너지 기반 모델 및 GAN에 연결하고, q_phi가 에너지 기반 분포를 근사하는 방식과 제너레이터가 제약을 속이려는 방식에 주목한다.

실험 결과

연구 질문

• RQ1 학습 가능한 구조화된 제약을 딥 생성 모델과 함께 학습하여 완전히 명시된 priors를 요구하지 않고 도메인 지식을 인코딩할 수 있는가?
• RQ2 PR–RL 대응이 암시적 및 명시적 DGMs 모두에 대해 이러한 제약을 실용적이고 확장 가능하게 학습할 수 있게 하는가?
• RQ3 학습된 구조 보존 제약이 기본 모델 및 고정 제약에 비해 이미지 및 텍스트 작업에서 생성 품질을 향상시키는가?
• RQ4 MaxEnt IRL 기법을 DGMs 맥락에서 시연이나 데이터 분포로부터 제약 함수를 학습하는 데 어떻게 사용할 수 있는가?

주요 결과

모델	SSIM	사람
Ma et al. [38]	0.614	—
Pumarola et al. [44]	0.747	—
Ma et al. [37]	0.762	—
Base model	0.676	0.03
With fixed constraint	0.679	0.12
With learned constraint	0.727	0.77

• 제약 학습이 이미지 및 텍스트 작업에서 기본 모델보다 생성 품질을 향상시킨다.
• 자세 조건부 인물 이미지 생성에서 학습된 신체 부위 일관성 제약은 기본 및 고정 제약 기반선보다 더 높은 SSIM 및 인간 선호도를 얻는다(SSIM: 0.727 with learned constraint vs 0.676 base; human: 0.77 vs 0.03).
• 템플릿 지향 문장 생성에서 학습된 제약은 기본 모델 및 직접 제약 학습에 비해 perplexity 및 인간 판단을 향상시킨다.
• 역 KL 목표 및 중요 샘플링 기반 그래디언트 추정치를 사용하여 암시적 모델에서도 이 접근법은 효과적이다.
• 학습된 제약은 적대적 설정에서 판별기에 비유되지만 프레임워크는 제너레이터의 성능 향상에 초점을 맞춘 모델-중립적 입장을 유지한다.
• 실험 결과는 학습된 제약으로 매끄러운 수렴과 안정적인 학습을 입증한다.