[논문 리뷰] A Biologically Inspired Visual Working Memory for Deep Networks

Ethan Harris, Mahesan Niranjan외 1명|arXiv (Cornell University)|2019. 01. 09.

Visual Attention and Saliency Detection참고 문헌 35인용 수 4

한 줄 요약

이 논문은 전이 주의를 통해 잠재 표현을 저장하고 업데이트하는 헤브-로젠블라트 기억 메커니즘을 사용하는 생물학적으로 영감을 받은 시각적 작동 기억 모듈인 STAWM(Short Term Attentive Working Memory)을 제안한다. 이 모델은 MNIST와 CIFAR-10에서 경쟁적인 분류 정확도를 달성하며, 분리된 부분 기반 표현을 갖춘 비지도 이미지 복원을 가능하게 하고, 모델의 추론 과정을 드러내는 해석 가능한 시각적 스케치패드를 제공한다.

ABSTRACT

The ability to look multiple times through a series of pose-adjusted glimpses is fundamental to human vision. This critical faculty allows us to understand highly complex visual scenes. Short term memory plays an integral role in aggregating the information obtained from these glimpses and informing our interpretation of the scene. Computational models have attempted to address glimpsing and visual attention but have failed to incorporate the notion of memory. We introduce a novel, biologically inspired visual working memory architecture that we term the Hebb-Rosenblatt memory. We subsequently introduce a fully differentiable Short Term Attentive Working Memory model (STAWM) which uses transformational attention to learn a memory over each image it sees. The state of our Hebb-Rosenblatt memory is embedded in STAWM as the weights space of a layer. By projecting different queries through this layer we can obtain goal-oriented latent representations for tasks including classification and visual reconstruction. Our model obtains highly competitive classification performance on MNIST and CIFAR-10. As demonstrated through the CelebA dataset, to perform reconstruction the model learns to make a sequence of updates to a canvas which constitute a parts-based representation. Classification with the self supervised representation obtained from MNIST is shown to be in line with the state of the art models (none of which use a visual attention mechanism). Finally, we show that STAWM can be trained under the dual constraints of classification and reconstruction to provide an interpretable visual sketchpad which helps open the 'black-box' of deep learning.

연구 동기 및 목표

• 딥 네트워크에 짧은 기간 기억과 시각적 주의를 통합하는 생물학적으로 영감을 받은 시각적 작동 기억을 개발하는 것.
• 순차적인 눈금 보기와 기억 업데이트를 통해 딥 네트워크가 분리된 부분 기반 표현을 학습할 수 있도록 하는 것.
• 모델이 '보는' 것과 어떤 이유로 특정 예측을 내리는지 드러내는 해석 가능한 시각적 스케치패드를 만드는 것.
• 기억 강화 주의가 효율성 초과 성능 향상에 기여함으로써, 주의만으로는 달성할 수 없는 기능을 가능하게 하는가를 입증하는 것.
• 공통된 기억 표현을 기반으로 분류와 복원에 대한 이중 작업 훈련을 탐색하는 것.

제안 방법

• 헤브-로젠블라트 기억는 신경망 레이어의 가중치 공간으로 구현되며, 시냅스 가소성은 헤브의 학습 규칙을 통해 모델링된다.
• 이동 주의는 순차적인 눈금 보기 생성에 사용되며, 각 눈금은 공간 변환을 통해 자세 변화를 모델링한다.
• 기울기 역전파를 통해 기억 상태를 통한 훈련이 가능한 미분 가능한 기억 업데이트 메커니즘이 사용된다.
• 각 눈금에서 명시적인 주의 마스크를 생성하기 위해 버르누울리 샘플링 방법이 적용되어 비지도 복원과 세그멘테이션을 가능하게 한다.
• 스케일된 손실을 합산하여 분류와 복원을 동시에 최적화함으로써, 작업 간 공통된 기억 표현을 가능하게 한다.
• 이미지 복원을 위한 캔버스는 단계적으로 업데이트되며, 각 눈금이 완전한 이미지로 향해 잠재 표현을 정교화한다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 받은 시각적 작동 기억이 주의 효율성 초과 성능 향상에 기여할 수 있는가?
• RQ2 기억 메커니즘이 이미지 복원에서 전경과 배경의 비지도 분리에 기여할 수 있는가?
• RQ3 기억 표현을 사용하여 모델의 추론 과정을 반영하는 해석 가능한 시각적 스케치를 생성할 수 있는가?
• RQ4 분류와 복원에 대한 공동 훈련이 더 나은 일반화와 더 견고한 표현을 이끌어낼 수 있는가?
• RQ5 눈금을 통해 잠재 캔버스를 순차적으로 업데이트하는 방식이 인간의 시각 처리 방식을 어떻게 반영하는가?

주요 결과

• STAWM 모델은 분류와 복원을 공동으로 훈련할 경우 MNIST에서 테스트 분류 오차 1.0%를 달성하여 뛰어난 성능을 보였다.
• CIFAR-10에서 모델은 경쟁적인 분류 정확도를 달성하며, 이전의 주의 전용 모델보다 뚜렷이 뛰어난 성능을 보였다.
• CelebA에서의 비지도 이미지 복원 과정에서 모델은 먼저 두드러진 얼굴 특징을 그려내며 부분 기반 표현을 학습했으며, 얼굴와 배경을 분리하는 데 성공했다.
• 마지막 눈금에서 생성된 최종 주의 마스크를 진짜 이미지와 곱하면 학습된 주목성 정보가 드러나 비지도 세그멘테이션 능력을 보였다.
• 잘못 분류된 예시들에서 스케치패드에 그려진 캔버스가 진짜 타겟보다 예측된 클래스와 더 유사한 경향을 보였으며, 이는 스케치패드가 모델의 내부 추론을 반영하고 있음을 시사한다.
• 기억 레이어를 통해 다양한 쿼리를 투사할 수 있는 모델의 능력은 공통된 해석 가능한 잠재 공간을 사용해 여러 작업(분류, 복원)을 수행할 수 있음을 보여준다.