[논문 리뷰] Learning to learn generative programs with Memoised Wake-Sleep

Luke Hewitt, Tuan Le외 1명|arXiv (Cornell University)|2020. 07. 06.

Artificial Intelligence in Games참고 문헌 25인용 수 4

한 줄 요약

이 논문은 신경기호 생성 모델에서 학습 중에 발견된 최고의 프로그램을 캐시하고 재사용함으로써 프로그램 유도를 향상시키는 새로운 알고리즘인 메모라이즈드 웨이크-슬립(Memoised Wake-Sleep, MWS)을 제안한다. 고유한 품질의 잠재 프로그램을 유지하는 유한한 메모리 구조를 통해 MWS는 추론 속도를 높이고, 스트로크 기반 문자 모델링, 세포자기법, 소수의 예시를 통한 문자열 개념 학습과 같은 구조적 생성 작업에서 학습 효율성과 정확도를 향상시킨다.

ABSTRACT

We study a class of neuro-symbolic generative models in which neural networks are used both for inference and as priors over symbolic, data-generating programs. As generative models, these programs capture compositional structures in a naturally explainable form. To tackle the challenge of performing program induction as an 'inner-loop' to learning, we propose the Memoised Wake-Sleep (MWS) algorithm, which extends Wake Sleep by explicitly storing and reusing the best programs discovered by the inference network throughout training. We use MWS to learn accurate, explainable models in three challenging domains: stroke-based character modelling, cellular automata, and few-shot learning in a novel dataset of real-world string concepts.

연구 동기 및 목표

• 신경기호 생성 모델에서 학습 중에 반복적으로 계산 비용이 큰 프로그램 유도를 수행하는 문제에 대응한다.
• 기호적이고 조합적인 프로그램을 잠재 변수로 학습함으로써 일반화 능력과 해석 가능성 향상을 도모한다.
• 이전에 발견된 고유질의 프로그램을 재사용함으로써 반복적이고 비용이 큰 추론에 의존도를 낮추는 확장 가능한 학습 알고리즘을 개발한다.
• 희소한 이산 잠재 공간을 갖는 구조적 도메인에서 프로그램 사전과 모델 파라미터를 동시에 학습할 수 있도록 한다.
• 스트로크 기반 문자 생성, 세포자기법, 실제 세계의 문자열 개념 유도와 같은 다양한 도메인에서 효과성을 입증한다.

제안 방법

• 각 입력 $x_i$에 대해 발견된 상위 $K$개의 프로그램으로 구성된 유한 집합 $\mathcal{Z}_i$를 유지하는 메모라이즈드 웨이크-슬립(MWS) 알고리즘을 도입한다.
• 학습 반복마다 인식 네트워크 $r_\psi(z|x)$를 사용해 후보 프로그램을 제안하고 메모리 집합 $\mathcal{Z}_i$를 업데이트한다.
• 변분 하한을 최적화하며, 변분 분포 $Q_i(z_i)$는 집합 $\mathcal{Z}_i$에 지원된다.
• 생성 모델 $p_\theta(z)p_\phi(x|z)$와 인식 네트워크 $r_\psi(z|x)$를 번갈아가며 학습하며, 캐시된 프로그램을 효과적인 추론 타겟으로 사용한다.
• 엔드 투 엔드 학습을 가능하게 하여 프로그램 사전과 연속적 파라미터(예: 세포자기법의 노이즈 수준)를 동시에 학습한다.
• MWS를 스트로크 기반 문자 생성, 잠재 규칙이 있는 세포자기법, 그리고 새로운 소수의 예시 기반 문자열 개념 데이터셋 세 도메인에 적용한다.

실험 결과

연구 질문

• RQ1 학습 중에 고유질의 프로그램을 캐시함으로써 신경기호 모델에서 반복적인 프로그램 유도의 계산 부담을 크게 줄일 수 있는가?
• RQ2 기존 웨이크-슬립 및 관련 방법과 비교해 MWS가 기호적 생성 프로그램 학습의 정확도와 수렴 속도를 향상시키는가?
• RQ3 MWS는 세포자기법과 같은 구조적 도메인에서 의미 있고 해석 가능한 프로그램 사전과 모델 파라미터(예: 노이즈 수준)를 효과적으로 학습할 수 있는가?
• RQ4 MWS는 최소한의 예시에서 실제 세계의 문자열 개념을 소수의 예시 학습으로 일반화하는 데 얼마나 잘 작동하는가?
• RQ5 속도와 정확도 측면에서 MWS는 리웨이트드 웨이크-슬립(Reweighted Wake-Sleep, RWS)과 VIMCO와 같은 고급 기준 모델을 얼마나 뛰어넘는가?

주요 결과

• MWS는 합성 프로그램 유도 작업에서 RWS와 VIMCO를 크게 앞서며, 어려운 작업에서 진짜 모델과의 거리를 최대 75%까지 줄였다.
• 어려운 작업에서 MWS는 $K=10$일 때 진짜 모델과의 거리가 0.75를 기록했으며, VIMCO는 1.26, RWS는 2.43를 기록했다.
• 세포자기법 도메인에서는 진짜 노이즈 파라미터 $\epsilon$ (2%)를 매우 작은 오차로 정확히 추정했으며, 쉬운 규칙과 어려운 규칙 모두에서 기준 모델을 능가했다.
• 1500개의 소수의 예시 문제를 포함한 새로운 String-Concepts 데이터셋에서 MWS는 강력한 소수의 예시 일반화 성능을 보였으며, 최소한의 예시에서 날짜, 이메일 등의 실제 세계의 문자열 패턴을 학습했다.
• 스트로크 기반 프로그램 유도의 복잡성에도 불구하고, MWS는 문자 생성 작업에서 21.8%의 정확도를 기록했으며, 이는 복잡한 도메인에서 최신 기술 수준을 충족하거나 초월했다.
• MWS는 RWS와 VIMCO보다 반복적이고 비용이 큰 추론이 필요한 학습 단계를 줄임으로써 상당한 속도 향상을 제공했다.