[논문 리뷰] Product Kanerva Machines: Factorized Bayesian Memory

Adam Marblestone, Yan Wu외 1명|arXiv (Cornell University)|2020. 02. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 52인용 수 5

한 줄 요약

이 논문은 단일 칸에바 머신을 다수의 더 작은 머신으로 인수분해하여 효율적이고 확장 가능하며 구조적인 메모리 구성이 가능한 계층적 베이지안 메모리 모델인 Product Kanerva Machine을 제안한다. 학습 가능한 할당 가중치를 통한 리더아웃 조합을 통해 비지도 군집화, 희박한 할당 패턴, 공간적으로 국소화된 특징 발견을 달성하며, 용량과 내구성 면에서 혼합 기반 대안보다 뛰어나다.

ABSTRACT

An ideal cognitively-inspired memory system would compress and organize incoming items. The Kanerva Machine (Wu et al, 2018) is a Bayesian model that naturally implements online memory compression. However, the organization of the Kanerva Machine is limited by its use of a single Gaussian random matrix for storage. Here we introduce the Product Kanerva Machine, which dynamically combines many smaller Kanerva Machines. Its hierarchical structure provides a principled way to abstract invariant features and gives scaling and capacity advantages over single Kanerva Machines. We show that it can exhibit unsupervised clustering, find sparse and combinatorial allocation patterns, and discover spatial tunings that approximately factorize simple images by object.

연구 동기 및 목표

• 단일 칸에바 머신의 한계, 즉 낮은 확장성과 메모리 내 구조적 조직의 부재를 해결하기 위해.
• 동적 정보 그룹화를 가능하게 하고 생성적, 압축형, 불변형 메모리 표현을 지원하는 계층적 메모리 시스템을 개발하기 위해.
• 인수분해된 메모리 구조가 조합적이고 분리된 특징을 탐지하고 강건하고 확장 가능한 메모리 연산을 지원할 수 있는지 탐색하기 위해.
• 증가하는 메모리 용량 조건에서 제품 인수분해와 혼합 인수분해의 성능, 일반화 능력, 내구성 면에서의 비교를 위해.

제안 방법

• 모델은 단일 칸에바 머신을 k개의 더 작은 머신으로 나누며, 각 머신은 m_i = m/k개의 컬럼을 가짐으로써 계산 효율성을 향상시키고 전문화를 가능하게 한다.
• 쿼리와 업데이트를 k개의 머신 간에 라우팅하기 위해 소프트 어텐션 가중치 r_i를 계산하는 할당 네트워크(다층 퍼셉트론)를 사용한다.
• 제품 인수분해는 p(z) ∝ ∏_i p(z|M_i)를 가정하여, 각 머신이 에피소드 전반에 걸쳐 통계적으로 독립적인 조합적 특징을 학습하도록 유도한다.
• 쿼리 z_query를 재구성하기 위해 컬럼 가중치 w_i에 대한 최소 제곱 최적화를 통해 리더아웃을 계산하며, 조건부 분포는 p(z|M_i) ∼ N(M_i w_i, σ²_i I)로 모델링된다.
• 모델은 쓰기(사후 추론), 읽기(재구성), 생성(기록된 이력을 기반으로 한 조건부 샘플링)의 세 가지 모드를 지원한다.
• 할당 네트워크의 미분 가능 학습을 가능하게 하기 위해 Gumbel-Softmax 재구성 기법을 사용하여 최종 하드 결정 이전의 소프트 라우팅을 허용한다.

실험 결과

연구 질문

• RQ1 Product Kanerva Machine과 같은 인수분해된 메모리 아키텍처는 단일 칸에바 머신보다 더 뛰어난 확장성과 용량을 달성할 수 있는가?
• RQ2 제품 인수분해는 메모리 내에서 희박하고 조합적이며 분리된 특징의 탐지에 기여하는가?
• RQ3 컴ponent 머신 수가 증가함에 따라 제품 모델은 혼합 모델과 비교해 성능과 내구성 면에서 어떻게 다를까?
• RQ4 모델은 시각적 특징, 예를 들어 선이나 물체의 일부와 같은 공간적으로 국소화된 불변 표현을 학습할 수 있는가?
• RQ5 경사 기반 미세조정 없이도 시스템은 비지도 군집화와 생성적 메모리 재구성을 지원하는가?

주요 결과

• Product Kanerva Machine은 k의 수가 증가함에 따라 성능 저하 없이 안정적인 훈련 및 재구성 성능를 기록했으며, 혼합 모델과는 달리 성능 저하 없이 확장 가능했다.
• 제품 모델은 희박하고 조합적인 할당 패턴을 탐지했으며, MNIST 데이터셋에서 특정 숫자 클래스에 대해 머신 사용이 선택적으로 조정됨을 보였다.
• RGB 바인딩 작업에서 모델은 빨간색 채널의 숫자 클래스에 따라 다른 머신에 할당하는 것을 학습했으며, 하드 어텐션 없이도 선택적이고 비균일한 라우팅을 구현했다.
• 춤추는 dSprites 작업에서 개별 머신들은 이미지 공간을 약간 겹치는 방식으로 공간적으로 국소화된 편향을 발달시켰으며, 일부는 선을 탐지하고 다른 일부는 형태, 방향, 크기와 무관하게 불변성을 보였다.
• 조건부 생성 실험 결과, 모델은 저장된 항목을 재현하거나 새로운 노이즈가 섞인 공간 패턴을 환영할 수 있었으며, 생성적 메모리 기능을 입증했다.
• 특히 k가 증가함에 따라 제품 인수분해의 분산되고 열악하지 않은 표현 유지 능력 덕분에, 재구성 정확도와 내구성 면에서 혼합 기반 대안보다 뛰어났다.