[논문 리뷰] Generative Neurosymbolic Machines

Jindong Jiang, Sungjin Ahn|arXiv (Cornell University)|2020. 10. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 9

한 줄 요약

이 논문은 구조적이고 해석 가능한 표현을 위해 분산 잠재 변수를 결합한 다층적 생성 모델인 생성 신경기호 기계(GNM)를 제안한다. 이는 탄력적인 밀도 모델링과 해석 가능성, 조합적 표현을 동시에 구현한다. 두 층의 잠재 계층과 StructDRAW 자동회귀 사전분포를 도입함으로써, ARROW 및 MNIST-10 벤치마크에서 구조적 표현 정확도와 이미지 생성 품질 측면에서 기존 모델을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reconciling symbolic and distributed representations is a crucial challenge that can potentially resolve the limitations of current deep learning. Remarkable advances in this direction have been achieved recently via generative object-centric representation models. While learning a recognition model that infers object-centric symbolic representations like bounding boxes from raw images in an unsupervised way, no such model can provide another important ability of a generative model, i.e., generating (sampling) according to the structure of learned world density. In this paper, we propose Generative Neurosymbolic Machines, a generative model that combines the benefits of distributed and symbolic representations to support both structured representations of symbolic components and density-based generation. These two crucial properties are achieved by a two-layer latent hierarchy with the global distributed latent for flexible density modeling and the structured symbolic latent map. To increase the model flexibility in this hierarchical structure, we also propose the StructDRAW prior. In experiments, we show that the proposed model significantly outperforms the previous structured representation models as well as the state-of-the-art non-structured generative models in terms of both structure accuracy and image generation quality. Our code, datasets, and trained models are available at https://github.com/JindongJiang/GNM

연구 동기 및 목표

• 현재 딥 러닝 모델이 동시에 구조적이고 해석 가능한 표현 및 밀도 기반 이미지 생성을 지원하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 복잡한 장면의 인식과 상상이 가능한 통합된 생성 프레임워크에서 기호적 표현과 분산 표현을 조화시키기 위해.
• 무 supervision, 엔드 투 엔드 학습이 가능한 다층 잠재 구조를 개발하여 전반적인 밀도 모델링과 국소적 기호적 조합성을 동시에 지원하기 위해.
• 구조적 특징 그리기 기능을 가능하게 하는 새로운 자동회귀 사전분포인 StructDRAW를 통해 구조적 표현의 표현력을 향상시키기 위해.
• 제안된 모델이 최신 기술 수준의 기준 모델들에 비해 구조 정확도와 이미지 생성 품질 측면에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 모델은 두 층의 잠재 계층을 사용한다: 전반적인 밀도 모델링을 위한 전역 분산 잠재 변수 $\mathbf{z}^g$ 와 엔티티 기반 표현을 위한 구조적 기호 잠재 맵 $\mathbf{z}^s$.
• 전역 잠재 변수 $\mathbf{z}^g$ 는 조건부 사전분포를 통해 구조적 기호 표현 $\mathbf{z}^s$ 의 생성을 조건화함으로써 밀도 기반 샘플링을 가능하게 한다.
• StructDRAW 사전분포는 구조적 잠재 맵에 대한 자동회귀 사전분포로, 더 높은 표현력을 갖춘 순차적이고 구조적인 특징 그리기 기능을 제공한다.
• 기호적 구성 요소 간의 의존성을 모델링하기 위해 StructDRAW 내부에 MLP 상호작용 레이어를 통합함으로써 표현 능력을 향상시킨다.
• 재구성 및 사전분포 가능도를 최적화하기 위해 KL 발산 항을 포함한 변분 추론 목표 함수를 사용하여 엔드 투 엔드로 학습한다.
• 이 프레임워크는 $\mathbf{x}$ 에서 $\mathbf{z}^s$ 를 추론하는 인식과 $\mathbf{z}^g$ 및 $\mathbf{z}^s$ 에서 $\mathbf{x}$ 를 샘플링하는 생성을 모두 지원하여 새로운 장면 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 모델은 해석 가능하고 기호적이며 객체 중심인 표현을 동시에 학습하면서도, 밀도 기반으로 이미지를 생성할 수 있는가?
• RQ2 전역 밀도 모델링과 국소적 기호적 조합성을 동시에 지원할 수 있도록 다층 잠재 구조를 어떻게 설계할 수 있는가?
• RQ3 StructDRAW와 같은 자동회귀 사전분포는 구조적 잠재 표현의 표현력과 정확도를 향상시키는 데 어떤 역할을 하는가?
• RQ4 제안된 모델은 기존의 구조적 및 비구조적 생성 모델에 비해 어느 정도 구조 정확도와 이미지 품질 측면에서 뛰어난 성능을 보이는가?
• RQ5 전역 사전분포 및 MLP 상호작용 레이어와 같은 아키텍처 구성 요소가 모델 성능에 어떤 기여를 하는가?

주요 결과

• ARROW 데이터셋에서 GNM-Struct는 0.976의 구조 정확도를 기록했으며, ConvDRAW(0.176)와 GNM-Gaussian(0.784)를 크게 앞서나갔다.
• MNIST-10 데이터셋에서 GNM-Struct는 0.824의 구조 정확도를 기록했으며, ConvDRAW(0.000)와 GNM-Gaussian(0.096)를 상당히 뛰어넘었다.
• GNM-Struct는 ARROW에서 로그우도 33,809, MNIST-10에서 10,450를 기록하여 두 지표에서 모두 모든 기준 모델을 능가했다.
• 제거 실험 결과, StructDRAW 사전분포와 MLP 상호작용 레이어 모두 핵심 구성 요소임을 입증했으며, 이들을 제거할 경우 성능이 심각하게 저하되었다.
• KL 항의 $\beta$ 가 증가함에 따라 로그우도가 점진적으로 감소하는 경향을 보였지만, 높은 구조 정확도를 유지했으며, 기존 기준 모델들은 심각한 성능 저하를 겪었다.
• 잠재 변수 탐색의 시각화 결과, GNM는 객체의 위치와 방향과 같은 기호적 구성 요소를 독립적으로 제어함으로써 일관되고 구조적인 장면을 생성할 수 있음을 확인했다.