[논문 리뷰] Convolutional Neural Associative Memories: Massive Capacity with Noise Tolerance

Amin Karbasi, Amir Hesam Salavati외 1명|arXiv (Cornell University)|2014. 07. 24.

Neural Networks and Applications참고 문헌 21인용 수 3

한 줄 요약

이 논문은 패턴 내 임베디드 선형 중복성을 활용하여 지수적 저장 용량을 달성하는 컨volution 신경 연상 메모리 프레임워크를 제안한다. 이는 노이즈에 강건한 대규모 데이터셋의 복원을 가능하게 한다. 컨볼루션 아키텍처와 스파arsity 및 부분공간 제약 조건을 강제하는 반복 학습 알고리즘을 조합함으로써, 모델은 선형 비율의 오류를 수정하고 패턴 크기에 따라 효율적으로 확장된다.

ABSTRACT

The task of a neural associative memory is to retrieve a set of previously memorized patterns from their noisy versions using a network of neurons. An ideal network should have the ability to 1) learn a set of patterns as they arrive, 2) retrieve the correct patterns from noisy queries, and 3) maximize the pattern retrieval capacity while maintaining the reliability in responding to queries. The majority of work on neural associative memories has focused on designing networks capable of memorizing any set of randomly chosen patterns at the expense of limiting the retrieval capacity. In this paper, we show that if we target memorizing only those patterns that have inherent redundancy (i.e., belong to a subspace), we can obtain all the aforementioned properties. This is in sharp contrast with the previous work that could only improve one or two aspects at the expense of the third. More specifically, we propose framework based on a convolutional neural network along with an iterative algorithm that learns the redundancy among the patterns. The resulting network has a retrieval capacity that is exponential in the size of the network. Moreover, the asymptotic error correction performance of our network is linear in the size of the patterns. We then ex- tend our approach to deal with patterns lie approximately in a subspace. This extension allows us to memorize datasets containing natural patterns (e.g., images). Finally, we report experimental results on both synthetic and real datasets to support our claims.

연구 동기 및 목표

• 노이즈에 강건성을 유지하면서 지수적 저장 용량을 갖춘 신경 연상 메모리 설계.
• 대규모 데이터셋에 적합한, 도착하는 패턴들을 온라인으로 스트리밍 학습할 수 있도록 보장.
• 낮은 차원 부분공간에 약간의 오차를 갖는 자연 패턴을 다룰 수 있도록 프레임워크 확장.
• 구조화된 패턴에 대해 정보 이론적으로 최적의 저장 용량과 오류 보정 성능 달성.

제안 방법

• 공간적 위치 간에 가중치를 공유하는 컨볼루션 신경망 아키텍처를 사용하여 局소 패턴 중복성을 활용.
• Oja와 Kohonen(1988)의 영감을 받은 반복 학습 알고리즘을 사용하며, 노이즈 억제를 향상시키기 위해 스파arsity 제약 조건을 추가.
• 모든 패턴 x = G⊤u가 낮은 차원 부분공간에 존재하도록 생성자 행렬 G를 학습하여 부분공간 제약 조건을 부과.
• 복원 중 오류 보정을 위해 이원 그래프(패턴 뉴런 대 제약 뉴런)에서 신뢰도 전파 방식의 메시지 전달을 적용.
• 고차원 의존성을 모델링하고 오류 보정 성능을 향상시키기 위해 슈퍼 제약 노드를 도입.
• 강건한 학습 및 노이즈 제거 절차를 사용하여 약간 부분공간에 놓인 패턴으로 모델을 확장.

실험 결과

연구 질문

• RQ1 신경 연상 메모리는 선형 비율의 오류를 수정하면서도 지수적 저장 용량을 달성할 수 있는가?
• RQ2 모델은 수학적 수렴성과 노이즈 내성 보장 하에 스트리밍 방식으로 패턴을 학습할 수 있는가?
• RQ3 이미지와 같이 약간 부분공간적으로 구조화된 자연 데이터에 대해 모델은 어떻게 성능을 내는가?
• RQ4 이러한 프레임워크에서 저장 용량과 오류 보정의 이론적 한계는 무엇이며, 이를 달성할 수 있는가?

주요 결과

• 제안된 네트워크는 C = υ^(rn)의 지수적 저장 용량을 달성하며, 여기서 υ ≥ 2 이고 0 < r < 1 이므로 네트워크 크기에 따라 확장 가능하다.
• 모델은 선형 비율의 오류까지 수정할 수 있으며, 渐近적 오류 보정 성능은 패턴 크기에 비례하여 선형적으로 증가한다.
• 반복 학습 알고리즘이 스트리밍 방식으로 패턴을 성공적으로 학습하며, 스파arsity와 부분공간 구조를 유지한다.
• 합성 및 실재 데이터셋에 대한 실험 결과는 높은 복원 정확도와 노이즈에 대한 강건성을 확인한다.
• 프레임워크는 상수 요소를 제외하고 정보 이론적으로 최적의 저장 용량과 오류 보정 성능를 달성한다.
• 이 방법은 구조화된 데이터에서 의미 있는 저차원 표현을 학습하는 특징 추출 도구로 기능한다.