[논문 리뷰] Drawing out of Distribution with Neuro-Symbolic Generative Models

Yichao Liang, Joshua B. Tenenbaum외 2명|arXiv (Cornell University)|2022. 06. 03.

Handwritten Text Recognition Techniques인용 수 4

한 줄 요약

DooD는 기하학적 스토리지 모델을 사용하여 원시 이미지에서 직접 신경기호적 생성 모델을 통해 일반적인 해석 가능한 스트로크 기반 그림 표현을 학습하는 모델이다. 이는 미분 가능 렌더링과 암시적 추론을 결합한 것으로, 보조 학습 없이도 상태 최고 수준의 제로샷 일반화 성능을 달성하며, 테스트 시점의 추론 없이도 일장 분류 및 생성 작업에서 경쟁적인 성능을 보인다.

ABSTRACT

Learning general-purpose representations from perceptual inputs is a hallmark of human intelligence. For example, people can write out numbers or characters, or even draw doodles, by characterizing these tasks as different instantiations of the same generic underlying process -- compositional arrangements of different forms of pen strokes. Crucially, learning to do one task, say writing, implies reasonable competence at another, say drawing, on account of this shared process. We present Drawing out of Distribution (DooD), a neuro-symbolic generative model of stroke-based drawing that can learn such general-purpose representations. In contrast to prior work, DooD operates directly on images, requires no supervision or expensive test-time inference, and performs unsupervised amortised inference with a symbolic stroke model that better enables both interpretability and generalization. We evaluate DooD on its ability to generalise across both data and tasks. We first perform zero-shot transfer from one dataset (e.g. MNIST) to another (e.g. Quickdraw), across five different datasets, and show that DooD clearly outperforms different baselines. An analysis of the learnt representations further highlights the benefits of adopting a symbolic stroke model. We then adopt a subset of the Omniglot challenge tasks, and evaluate its ability to generate new exemplars (both unconditionally and conditionally), and perform one-shot classification, showing that DooD matches the state of the art. Taken together, we demonstrate that DooD does indeed capture general-purpose representations across both data and task, and takes a further step towards building general and robust concept-learning systems.

연구 동기 및 목표

• 스트로크 기반 그림에 대한 일반적이고 해석 가능한 표현을 개발하여 데이터 및 작업 간 전이를 가능하게 한다.
• 순수한 신경 모델이나 기호 모델의 한계를 극복하기 위해, 미분 가능한 렌더링과 기호적 스트로크 조합을 융합한다.
• 보조 학습 없이도 테스트 시점 최적화 없이도 직접 이미지에서 암시적 추론을 가능하게 한다.
• MNIST, QuickDraw, Omniglot과 같은 다양한 데이터셋 간에 강력한 제로샷 일반화 성능을 입증한다.
• 단일 통합 모델을 사용하여 보조 학습 없이도 소수의 샘플 분류 및 무조건적/조건부 생성 작업에서 경쟁적인 성능을 달성한다.

제안 방법

• 모델는 순차적으로 스트로크 위치(lt), 스트로크 매개변수(st), 정지 신호(ot)를 자동귀납 RNN을 통해 샘플링하는 생성 과정을 사용한다.
• 각 스트로크는 미분 가능한 스퍼인 기반 렌더러(δR)를 사용하여 렌더링되며, 알파 컴posit링을 통해 누적 캔버스(x<t)에 합성된다.
• 인식 모델은 이미지 잔여치(∆xt = x − x<t)에 조건을 두어 다음 그림 단계를 예측함으로써 암시적 추론을 수행한다.
• 모델는 증거 하한 경계(ELBO) 목적함수를 사용하는 변분 추론 프레임워크를 활용하며, 이산 정지 변수에 대해 NVIL 제어 변수를 사용하여 훈련한다.
• 계층적 타입-토큰 구조는 새로운 예시 생성 및 Omniglot에서의 일장 분류를 가능하게 한다.
• 공간 변환 네트워크(STNs)는 정밀한 스트로크 배치 및 렌더링을 위한 미분 가능한 공간 변환을 제공한다.

실험 결과

연구 질문

• RQ1 MNIST와 같은 한 데이터셋에서 훈련된 신경기호 모델이, 미세조정 없이도 분포 외 데이터셋(예: QuickDraw, Omniglot)으로 일반화할 수 있는가?
• RQ2 순수한 신경 모델 대비 기호적 스트로크 모델이 해석 가능성과 일반화 성능을 얼마나 잘 지원하는가?
• RQ3 고정된 훈련 데이터셋에서의 제로샷 전이가 유지되면서도 높은 생성 및 재구성 품질을 달성할 수 있는가?
• RQ4 보조 학습이나 데이터 증강 없이도 소수의 샘플 분류 및 무조건적/조건부 생성 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ5 기호적 스트로크 모델과 암시적 추론을 사용할 경우, MCMC 기반 추론에 비해 효율성과 정확도에서 어떻게 비교되는가?

주요 결과

• DooD는 MNIST에서 QuickDraw로의 제로샷 전이를 포함한 다섯 개의 데이터셋 간 전이에서 기존 모델들을 크게 앞서며 강력한 데이터 일반화 성능을 보였다.
• Omniglot에서 일장 분류 작업에서 최고 성능을 기록했으며, 추가 보조 학습이나 데이터 증강 없이도 이전의 신경기호 모델들을 능가하거나 동등하게 성능을 내었다.
• DooD는 무조건적 및 조건부 생성 모두에서 현실적이고 선명하며 아티팩트가 없는 이미지를 생성했으며, 일반적으로 흐릿한 출력을 내는 깊은 생성 모델들을 능가했다.
• 기호적 스트로크 모델은 형태 성분의 해석 가능한 분리 표현을 가능하게 했으며, 잠재 공간에서 의미 있는 조합적 구조가 존재하는 것으로 질적 분석을 통해 확인되었다.
• 인식 모델을 통한 암시적 추론은 고비용의 MCMC 샘플링 없이도 빠르고 확장 가능한 추론을 가능하게 했으며, 이는 이전의 기호 모델들과의 주요 차이점이다.
• 모델는 MNIST에서 Omniglot으로의 일반화를 효과적으로 수행했으며, 단계적 스트로크 조합을 통해 높은 정밀도로 복잡한 문자를 재구성했다.