[논문 리뷰] Multi-objects Generation with Amortized Structural Regularization

Taufik Xu, Chongxuan Li외 2명|arXiv (Cornell University)|2019. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 후행 정규화를 통한 인간이 제공한 구조적 제약 조건을 딥 생성 모델(DGM)에 통합하는 암시적 구조 정규화(ASR)를 제안한다. 이를 통해 이미지 내 객체 속성과 관계를 더 잘 모델링할 수 있다. 정규화된 로그우도의 하한을 최적화함으로써 생성 모델와 보조 인식 모델을 함께 최적화함으로써, ASR는 DGM 기준 대비 더 뛰어난 샘플 품질과 추론 성능을 달성한다.

ABSTRACT

Deep generative models (DGMs) have shown promise in image generation. However, most of the existing methods learn a model by simply optimizing a divergence between the marginal distributions of the model and the data, and often fail to capture rich structures, such as attributes of objects and their relationships, in an image. Human knowledge is a crucial element to the success of DGMs to infer these structures, especially in unsupervised learning. In this paper, we propose amortized structural regularization (ASR), which adopts posterior regularization (PR) to embed human knowledge into DGMs via a set of structural constraints. We derive a lower bound of the regularized log-likelihood in PR and adopt the amortized inference technique to jointly optimize the generative model and an auxiliary recognition model for inference efficiently. Empirical results show that ASR outperforms the DGM baselines in terms of inference performance and sample quality.

연구 동기 및 목표

• 객체 속성과 공간적 관계와 같은 복잡한 이미지 구조를 포착하는 데에 기존 DGM의 한계를 해결하기 위해.
• 비지도 학습 환경에서 인간이 제공한 구조 지식을 비지도 딥 생성 모델에 통합하여 구조적 정밀도를 향상시키기 위해.
• 암시적 추론을 사용하여 생성 모델와 인식 모델를 함께 최적화하는 효율적인 추론 기반 메커니즘을 개발하기 위해.
• 후행 정규화를 통해 구조 제약 조건을 통합함으로써 샘플 품질과 추론 성능을 향상시키기 위해.
• 비지도 설정에서 인간이 애너테이션한 구조 사전 지식과 종단간 딥 생성 모델링 간 격차를 메우기 위해.

제안 방법

• 후행 정규화(PR)를 적용하여 인간이 제공한 구조 제약 조건을 DGM의 잠재 공간에 통합하기 위해.
• 제약 조건이 있는 목적 함수의 최적화를 가능하게 하기 위해 정규화된 로그우도의 하한을 유도하기 위해.
• 계산 비용을 줄이기 위해 암시적 추론을 사용하여 생성 모델와 보조 인식 모델를 함께 훈련하기 위해.
• 구조 제약 조건을 정규화 항으로 포함한 변분 하한으로 학습 목표를 수식화하기 위해.
• 스티어티컬 그래디언트 디센트를 사용하여 모델을 종단간 최적화함으로써 이미지 데이터셋에서의 확장성 확보하기 위해.
• 구조 제약 조건을 소프트 정규화 항으로 정의하여 모델이 분리되고 의미적으로 유의미한 표현을 학습하도록 유도하기 위해.

실험 결과

연구 질문

• RQ1 비지도 학습에서 인간이 제공한 구조 제약 조건이 생성된 이미지의 품질과 분리도를 향상시키는가?
• RQ2 암시적 추론을 사용한 후행 정규화는 표준 DGM 대비 객체 속성과 관계를 얼마나 잘 모델링하는가?
• RQ3 구조 사전 지식을 통합할 경우 추론 성능과 샘플 다양성은 어느 정도 향상되는가?
• RQ4 완전한 감독 없이도 구조 제약 조건을 딥 생성 모델에 효과적으로 통합할 수 있는가?
• RQ5 다양한 종류의 구조 제약 조건이 모델이 현실적이고 구조적인 이미지를 생성하는 데 미치는 영향은 무엇인가?

주요 결과

• FID 및 Inception Score와 같은 지표로 측정한 결과, ASR는 표준 DGM 기준 대비 샘플 품질을 크게 향상시킨다.
• 인간 지식을 통합함으로써 더 구조적이고 분리된 표현을 학습함으로써, 추론 성능이 향상된다.
• 실증 결과는 ASR가 생성된 이미지에서 객체 속성과 공간적 관계를 효과적으로 포착함을 보여준다.
• 암시적 추론의 사용은 생성 모델와 인식 모델의 효율적 공동 최적화를 가능하게 하며, 확장성을 유지한다.
• 정규화된 하한은 다양한 벤치마크에서 기준 DGM 대비 안정적인 훈련과 일관된 성능 향상을 가능하게 한다.
• ASR는 객체 수준의 속성에 대한 명시적 감독 없이도 표준 DGM을 능가하며, 약한 감독 기반의 구조 사전 지식의 효과성을 보여준다.