[논문 리뷰] Improving the Energy Efficiency and Robustness of tinyML Computer Vision using Log-Gradient Input Images

Qianyun Lu, Boris Murmann|arXiv (Cornell University)|2022. 03. 04.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 소형ML 컨볼루션 신경망(CNN)에 로그기울기(log∇) 이미지를 입력으로 사용함으로써, 첫 번째 레이어 입력의 극단적인 1.5비트 양자화, 필터 유사도 향상을 통한 CNN의 더 나은 프루닝 가능성, 그리고 조도 변화에 대한 내재적 내성(8배 밝기 변화 범위에서 정확도 손실 1.7%)을 가능하게 한다. 이 방법은 전통적인 영상 신호 처리를 아날로그 도메인의 로그기울기 계산으로 대체함으로써 에너지 소비와 시스템 복잡성을 줄인다.

ABSTRACT

This paper studies the merits of applying log-gradient input images to convolutional neural networks (CNNs) for tinyML computer vision (CV). We show that log gradients enable: (i) aggressive 1.5-bit quantization of first-layer inputs, (ii) potential CNN resource reductions, and (iii) inherent robustness to illumination changes (1.7% accuracy loss across 1/32...8 brightness variation vs. up to 10% for JPEG). We establish these results using the PASCAL RAW image data set and through a combination of experiments using neural architecture search and a fixed three-layer network. The latter reveal that training on log-gradient images leads to higher filter similarity, making the CNN more prunable. The combined benefits of aggressive first-layer quantization, CNN resource reductions, and operation without tight exposure control and image signal processing (ISP) are helpful for pushing tinyML CV toward its ultimate efficiency limits.

연구 동기 및 목표

• 배터리 구동 IoT 기기에서 증가하는 에너지 및 비용 제약을 해결하기 위해 센서에서 분류기까지의 전체 컴퓨터 비전 파이프라인을 최적화한다.
• 기존의 이미지 신호 처리(이상)가 인간의 시각에 최적화되어 있어 기계 효율성 측면에서 과잉 설계되는 문제를 해결한다.
• 로그기울기 전처리가 소형ML 응용 분야에서 CNN의 압축 가능성, 조도 변화에 대한 내성성, 에너지 효율성 향상에 기여하는지 탐색한다.
• 로그∇ 입력이 정확도 손실 없이 첫 번째 레이어 특징을 극단적으로 1.5비트로 양자화할 수 있음을 입증함으로써, 데이터 이동과 메모리 오버헤드를 줄인다.
• 딥 러닝 모델과 아날로그 도메인의 로그기울기 계산을 통합함으로써, 하드웨어 인식형 종단 간 최적화 경로를 구축한다.

제안 방법

• 입력 이미지 $ P $ 에 대해 $ P' = \log(P + 1) $ 공식을 사용해 로그기울기 이미지를 계산하고, 소벨 유사 기울기 필터 $ f $ 를 2차원 컨볼루션하여 $ \log\nabla = P' * f $ 를 도출한다.
• 실제 조도 변화를 시뮬레이션하기 위해 PASCAL RAW 2014 데이터셋을 사용해 원시 센서 데이터를 기반으로 모델을 훈련 및 평가한다.
• 신경망 아키텍처 탐색(NAS)을 적용하여 RAW, JPEG, 그리고 log∇ 입력 기반으로 훈련된 CNN을 비교하고, 프루닝 가능성의 지표로 압축 가능성과 필터 유사도를 측정한다.
• NAS 결과를 검증하기 위해 세 단계의 CNN 아키텍처를 고정하고, 다양한 입력 유형에서 필터 유사도와 프루닝 효율성을 측정한다.
• 입력 이미지를 $ 2^{-5} $ 에서 $ 2^{3} $ 의 요소로 스케일링하여 조도 변화를 시뮬레이션하고, RAW, JPEG, log∇ 입력 간 정확도 저하를 비교한다.
• log∇ 입력을 사용할 경우 첫 번째 레이어 특징을 1.5비트(3레벨)로 양자화하고, 모델 성능과 데이터 이동에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 로그기울기 전처리가 첫 번째 레이어 CNN 입력의 극단적인 1.5비트 양자화를 가능하게 할 수 있는가? 이는 데이터 이동과 메모리 요구량을 줄이는가?
• RQ2 로그기울기 이미지로 훈련된 CNN은 더 높은 필터 유사도와 감소된 모델 복잡성으로 인해 프루닝 가능성이 향상되는가?
• RQ3 넓은 동적 범위에서 조도 변화에 대한 내성성 측면에서, 표준 JPEG 및 RAW 입력에 비해 로그기울기 입력 처리 방식은 어떻게 비교되는가?
• RQ4 디지털 ISP 단계를 제거함으로써 로그기울기 전처리가 정확도 및 에너지 효율성 측면에서 얼마나 보완될 수 있는가?
• RQ5 로그∇ 전처리는 소형ML 컴퓨터 비전 시스템에서 기존 ISP 파이프라인의 실용적이고 에너지 효율적인 대안이 될 수 있는가?

주요 결과

• 로그기울기 전처리를 통해 첫 번째 레이어 CNN 입력에 대해 극단적인 1.5비트 양자화가 가능해지며, 기존 5비트 이상의 요구사항 대비 데이터 이동과 메모리 요구량이 감소한다.
• 로그기울기 입력으로 훈련된 CNN은 코사인 유사도로 측정된 필터 유사도가 유의미하게 높아지며, 이는 더 나은 구조적 규칙성과 압축 가능성 향상을 시사한다.
• 로그∇ 기반 시스템은 밝기 변화 범위가 8배($ 2^{-5} $ 에서 $ 2^{3} $)일 때 정확도 손실이 오직 1.7%에 그치며, JPEG 입력 대비 최대 10%의 정확도 저하를 보인다.
• 신경망 아키텍처 탐색 결과, RAW나 JPEG로 훈련된 모델에 비해 log∇로 훈련된 모델는 더 높은 압축 가능성과 프루닝 후 감소된 파라미터 수 및 활성화 수를 보였다.
• 로그∇ 접근법은 내재된 조도 불변성을 제공하여, 소형ML 시스템에서 복잡한 노출 제어 및 영상 신호 처리의 필요성을 줄인다.
• 이전에 하드웨어에서 입증된 바와 같이, 이 방법은 에너지 효율적인 아날로그 도메인의 로그기울기 계산을 지원하여 센서 수준에서의 시스템 전체 에너지 절감을 가능하게 한다.