[논문 리뷰] ASP Vision: Optically Computing the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels

Huaijin Chen, Suren Jayasuriya외 5명|arXiv (Cornell University)|2016. 05. 11.

Advanced Memory and Neural Computing참고 문헌 42인용 수 10

한 줄 요약

이 논문은 생체 모방 각도 민감성 픽셀(ASPs)을 사용해 컨volutional 신경망(CNN)의 첫 번째 컨볼루션 레이어를 광학적으로 계산하는 에너지 효율적인 영상 시스템인 ASP Vision을 제안한다. 기존의 이미지 센서 대신 가장자리 특징을 직접 추출하는 ASP를 도입함으로써 센서 전력 소비, 데이터 대역폭, 후속 CNN의 FLOPS를 줄였으며, 실제 하드웨어 프로토타입 결과를 통해 숫자 및 얼굴 인식 작업에서 기준 성능에 근접한 정확도를 달성한다.

ABSTRACT

Deep learning using convolutional neural networks (CNNs) is quickly becoming the state-of-the-art for challenging computer vision applications. However, deep learning's power consumption and bandwidth requirements currently limit its application in embedded and mobile systems with tight energy budgets. In this paper, we explore the energy savings of optically computing the first layer of CNNs. To do so, we utilize bio-inspired Angle Sensitive Pixels (ASPs), custom CMOS diffractive image sensors which act similar to Gabor filter banks in the V1 layer of the human visual cortex. ASPs replace both image sensing and the first layer of a conventional CNN by directly performing optical edge filtering, saving sensing energy, data bandwidth, and CNN FLOPS to compute. Our experimental results (both on synthetic data and a hardware prototype) for a variety of vision tasks such as digit recognition, object recognition, and face identification demonstrate using ASPs while achieving similar performance compared to traditional deep learning pipelines.

연구 동기 및 목표

• 임베디드 및 모바일 영상 시스템에서 기존 CNN의 높은 전력 소비와 대역폭 제약 문제를 해결한다.
• 에너지 효율적인 각도 민감성 픽셀(ASPs)로 기존 이미지 센서를 대체하여 영상 센싱 및 데이터 전송의 에너지 소비를 줄인다.
• ASPs를 활용해 첫 번째 CNN 레이어의 광학 계산을 실현함으로써 후속 계산 부담과 FLOPS를 최소화한다.
• 실제 하드웨어에서 숫자 및 얼굴 인식과 같은 영상 작업을 위한 ASP Vision 시스템의 실현 가능성과 성능을 입증한다.

제안 방법

• 인간 시각 피질의 V1 레이어에 유사한 기능을 수행하는, 가보르 유사 임펄스 응답을 가진 고유의 CMOS 회절 이미지 센서인 각도 민감성 픽셀(ASPs)을 사용해 광학적 가장자리 필터링을 수행한다.
• 기존의 이미지 센싱 및 첫 번째 CNN 레이어를 하나의 광학 계산 단계로 대체하여, 직접 가장자리 필터링 응답을 출력한다.
• 180nm CMOS 공정으로 제작된 64×96 해상도의 ASP 센서(10µm 픽셀의 4×6 타일로 구성)를 사용한 하드웨어 프로토타입을 설계하였으며, 실생활 영상 촬영을 위해 니콘 F1.2 렌즈를 통합하였다.
• 합성 및 실재 데이터로부터 생성된 ASP 기반의 가장자리 응답을 사용해 표준 CNN(LeNet, NiN)을 훈련 및 평가하였으며, 내성 강화 기법을 적용해 강인성을 향상시켰다.
• ASPs를 사용한 시스템과 기존 파이프라인 간의 에너지 및 대역폭 절감 효과를 분석하기 위해 센서 전력 소비, 데이터 전송, FLOPS 감소를 중심으로 비교 분석을 수행하였다.
• 고정 패턴 노이즈 제거와 같은 노이즈 감소 기법을 구현하였으며, 향후 관련 기술로는 상관 이중 샘플링 및 산업용 CMOS 제조 공정 적용을 고려하였다.

실험 결과

연구 질문

• RQ1 각도 민감성 픽셀(ASPs)이 광학 계산을 통해 CNN의 첫 번째 레이어 기능 추출을 효과적으로 모방할 수 있는가?
• RQ2 ASPs 기반의 광학 계산은 임베디드 영상 시스템에서 센서 전력 소비와 데이터 대역폭을 얼마나 줄일 수 있는가?
• RQ3 ASPs 기반의 가장자리 응답을 기반으로 훈련된 CNN의 성능은 실생활 작업에서 기존 이미지 데이터를 기반으로 훈련된 모델과 비교해 어떻게 되는가?
• RQ4 현재의 ASP 프로토타입이 노이즈, 해상도, 조도 효율성 측면에서 가지는 실용적 제약은 무엇이며, 이들이 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• MNIST 데이터셋에서 데이터 증강을 적용한 결과, ASP Vision은 기준 LeNet의 95.22% 대비 94.61%의 정확도를 달성하여 근사 동등한 성능을 보였다.
• 얼굴 인식 작업에서는 데이터 증강을 적용한 ASP Vision이 94.18%의 정확도를 기록했으며, 증강 데이터셋 기반의 기준 NiN의 94.73% 정확도와 유사한 성능을 보였다.
• 데이터 증강 없이도 MNIST에서 86.7%, 얼굴 인식에서 82.87%의 정확도를 기록하여 약 5–10%의 성능 격차가 있었으나, 증강 기법으로 이 격차는 해소되었다.
• 실제 하드웨어 프로토타입을 통해 ASP에서 생성된 실생활 가장자리 응답이 높은 정확도의 시각 인식에 충분함을 입증하였으며, 높은 노이즈와 제한된 이미지 품질에도 불구하고 성능을 유지하였다.
• 가장자리 응답만 인코딩함으로써 센서 전력 소비와 데이터 전송 대역폭을 크게 줄였으며, CPU로의 고대역폭 데이터 전송 요구를 감소시켰다.
• 프로토타입의 성능은 읽기 회로에서 유래한 노이즈와 산업용 공정이 아닌 제조 공정으로 인해 제한되었지만, 향후 회로 설계 및 공정 기술 향상으로 품질과 효율성이 크게 향상될 수 있다.