[논문 리뷰] Hardware based Spatio-Temporal Neural Processing Backend for Imaging Sensors: Towards a Smart Camera

Samiran Ganguly, Yunfei Gu외 2명|arXiv (Cornell University)|2018. 03. 23.

Neural Networks and Reservoir Computing참고 문헌 15인용 수 3

한 줄 요약

이 논문은 영상 센서를 위한 하드웨어 기반의 시공간 신경 처리 백엔드를 제안하며, 신경 필터링을 위한 리저보어 커피팅(Reservoir Computing), 공간적 특징 추출을 위한 향상된 R-CNN, 운동 예측을 위한 계층적 시간 기억(Hierarchical Temporal Memory)을 통합한다. 이 시스템은 소재의 물리적 한계를 초월하는 실시간 이미지 SNR 향상과 강력한 사용자 정의 특징 추적을 가능하게 하며, 확장 가능한 CMOS 및 신소재(예: 스피너트로닉 장치)를 통해 스마트 카메라용 초저전력 임베디드 신경 프로세서를 실현한다.

ABSTRACT

In this work we show how we can build a technology platform for cognitive imaging sensors using recent advances in recurrent neural network architectures and training methods inspired from biology. We demonstrate learning and processing tasks specific to imaging sensors, including enhancement of sensitivity and signal-to-noise ratio (SNR) purely through neural filtering beyond the fundamental limits sensor materials, and inferencing and spatio-temporal pattern recognition capabilities of these networks with applications in object detection, motion tracking and prediction. We then show designs of unit hardware cells built using complementary metal-oxide semiconductor (CMOS) and emerging materials technologies for ultra-compact and energy-efficient embedded neural processors for smart cameras.

연구 동기 및 목표

• 실시간 시공간 처리를 위한 감지, 기억, 논리 기능을 통합한 인지 영상 센서 플랫폼을 개발한다.
• 센서 소재의 기본 한계를 초월하여 신경 필터링을 통해 신호 대 잡음비(SNR)와 감도를 물리적 제약을 초월해 향상시킨다.
• 실시간 사용자 정의 특징 추적(감지, 공간적 파rameter 추출(위치, 크기, 회전), 운동 예측 포함)을 가능하게 한다.
• CMOS 및 신소재(예: 스피너트로닉 장치 등)를 활용하여 에너지 효율적이고 소형화된 신경 처리 하드웨어를 설계하여 임베디드 구현을 가능하게 한다.

제안 방법

• 에코 스테이트 네트워크(ESNs), 즉 리저보어 커피팅의 한 형태를 사용하여 시간에 따라 변하는 센서 왜곡을 학습하고 반전시킴으로써 노이즈가 많은 이미지에서 SNR 향상을 위한 신경 필터링을 수행한다.
• 향상된 영역 기반 컨볼루션 신경망(R-CNNs)을 사용하여 공간적 특징과 그들의 표준 운동 변수인 위치(x,y), 크기(h,w), 방향(θ, φx, φy)을 추출한다.
• 스패티오-타임스피어럴 상관관계를 모델링하여, 추적된 특징의 운동 생성 방정식을 학습하고 예측하기 위해 계층적 시간 기억(HTM)을 적용한다.
• 에너지 장벽을 조절할 수 있는 스피너트로닉 장치(예: 자기 터널 접합)를 사용하여 일반화된 확률적 뉴런 모델을 설계하여 비선형 활성화 함수와 확률성을 모방한다.
• 프로그래머블 도전도기반(전류 I = GV)의 합성 시냅스 가중치를 구현하고, 메모리스터를 사용한 하이브리드 크로스바 어レイ를 통해 합성 시냅스 연결을 밀도 있게 실현한다.
• 전하 기반 커패시터(Q_in)와 비선형 전달 함수 f(α·dQ_in/dt)를 사용하여 뉴런 동역학을 모델링하고, 학습에 필수적인 확률적 행동을 가능하게 하기 위해 백색 가우시안 노이즈(I_rnd)를 추가한다.

실험 결과

연구 질문

• RQ1 리저보어 커피팅을 통한 신경 필터링이 센서 소재의 기본 SNR 한계를 초월하여 영상 센서에서 신호를 복원할 수 있는가?
• RQ2 ESNs, R-CNNs, HTM를 융합한 하이브리드 신경망 아키텍처가 비디오 스트림에서 실시간으로 사용자 정의 특징의 감지, 공간적 파rameter 추출, 운동 예측을 가능하게 하는가?
• RQ3 CMOS 및 신소재(예: 스피너트로닉 장치 등)를 활용하여 임베디드 스마트 카메라 응용을 위한 하드웨어 효율적이고 에너지 밀도가 높은 신경 처리 유닛을 어떻게 설계할 수 있는가?
• RQ4 에너지 장벽을 조절할 수 있는 자기 터널 접합의 물리적 특성이 깊은 학습 워크로드에 적합한 저전력, 확률적 신경 계산을 얼마나 잘 지원할 수 있는가?

주요 결과

• ESNs를 활용한 신경 필터링은 시간에 따라 변화하는 왜곡을 학습하고 반전시킴으로써 센서 소재의 기본 한계를 초월한 이미지 SNR 및 D* 향상을 성공적으로 달성했다.
• 향상된 R-CNNs는 위치(x,y), 크기(h,w), 방향(θ, φx, φy)을 포함한 표준 변수들을 정확히 추출하여 강력한 특징 식별을 가능하게 했다.
• HTM 기반의 시간적 추론은 스패티오-타임스피어럴 상관관계를 모델링하여 실시간으로 특징의 운동 궤적을 학습하고 예측함으로써 단기 운동 예측을 가능하게 했다.
• 에너지 장벽 조절이 가능한 스피너트로닉 기반의 확률적 뉴런(U = M_s·H_k·Ω/2)은 하드웨어 친화적인 비선형 활성화 및 확률적 행동을 실현했으며, 상태 유지 시간(τ)은 U/kT에 의해 제어 가능했다.
• 프로그래머블 메모리스터와 금속 연결을 사용한 하이브리드 크로스바 아키텍처는 대규모 신경망을 위한 합성 시냅스 가중치 및 뉴런 어레이의 밀도 있고 확장 가능한 실현을 가능하게 했다.
• 제안된 플랫폼은 CMOS 및 신소재를 활용하여 이미지 센서 근처에 인지 처리를 직접 통합할 수 있음을 입증하여 초소형, 초저전력 스마트 카메라 시스템의 실현 가능성을 보였다.