[논문 리뷰] Channel Tiling for Improved Performance and Accuracy of Optical Neural Network Accelerators

Shurui Li, Mario Miscuglio외 2명|arXiv (Cornell University)|2020. 11. 14.

Neural Networks and Reservoir Computing참고 문헌 34인용 수 5

한 줄 요약

이 논문은 4F 광학 신경망 가속기에서 다중 채널 컨볼루션 출력의 내재적 광학 도메인 누적을 가능하게 하여 전자적 후처리가 필요 없도록 채널 타일링을 제안한다. 4F 시스템의 높은 해상도를 활용해 센서 감지 이전에 채널을 광학적으로 합산함으로써, 기존 최첨단 기술 대비 10–50× 높은 처리량, 3배 낮은 카메라 해상도 요구 수준, 33% 향상된 감지 정밀도 내성 확보를 달성하였으며, 추가적인 광학 하드웨어 없이도 이를 이룬다.

ABSTRACT

Low latency, high throughput inference on Convolution Neural Networks (CNNs) remains a challenge, especially for applications requiring large input or large kernel sizes. 4F optics provides a solution to accelerate CNNs by converting convolutions into Fourier-domain point-wise multiplications that are computationally 'free' in optical domain. However, existing 4F CNN systems suffer from the all-positive sensor readout issue which makes the implementation of a multi-channel, multi-layer CNN not scalable or even impractical. In this paper we propose a simple channel tiling scheme for 4F CNN systems that utilizes the high resolution of 4F system to perform channel summation inherently in optical domain before sensor detection, so the outputs of different channels can be correctly accumulated. Compared to state of the art, channel tiling gives similar accuracy, significantly better robustness to sensing quantization (33\% improvement in required sensing precision) error and noise (10dB reduction in tolerable sensing noise), 0.5X total filters required, 10-50X+ throughput improvement and as much as 3X reduction in required output camera resolution/bandwidth. Not requiring any additional optical hardware, the proposed channel tiling approach addresses an important throughput and precision bottleneck of high-speed, massively-parallel optical 4F computing systems.

연구 동기 및 목표

• 모든 양의 센서 읽기 문제로 인해 발생하는 4F 광학 CNN 가속기의 확장성 및 정확도 제약을 해결한다.
• 추가 광학 하드웨어 없이도 다중 채널, 다중 레이어 CNN 추론을 가능하게 한다.
• 감지 양자화 오차 및 광검출 노이즈에 대한 시스템 강인성을 향상시킨다.
• 4F 시스템에서 핵심적인 병목 현상이 되는 출력 카메라 해상도 및 대역폭 요구 수준을 감소시킨다.
• 효율적인 타일링 전략을 통해 4F 시스템의 막대한 병렬 처리 능력을 최대한 활용한다.

제안 방법

• 푸리에 평면에 컨볼루션 필터 출력을 공간적으로 배열함으로써 광학 도메인에서 감지 이전에 채널 반응을 합산할 수 있도록 하는 채널 타일링 기법을 제안한다.
• 4F 시스템의 높은 공간 해상도를 활용해 다수의 채널 출력을 하나의 광학 필드에 압축하여 감지 과정에서 자연스럽게 합산되도록 한다.
• 채널 타일링을 입력 또는 필터 타일링과 통합하여 가용 병렬 처리 능력을 극대화하고 시스템 활용도를 10–50× 향상시킨다.
• 카메라의 비선형성을 활용해 활성화를 암묵적으로 적용함으로써 음수 가중치를 가진 필터를 구현 가능하게 하여 복잡한 광학적 부호 유지 기법을 피한다.
• SLM와 카메라 간 고속 I/O 동기화를 위한 FPGA 기반 시스템 수준 인터페이스를 설계하여 실시간 프로그래머블 4F 운영을 가능하게 한다.
• 네트워크 미세조정 과정에서 시스템의 비이상적 특성을 보상하기 위해 학습 호환성 있는 시뮬레이션 모델을 개발한다.

실험 결과

연구 질문

• RQ1 4F 시스템에서 광학 도메인 채널 합산이 다중 채널 출력의 전자적 후처리 필요성을 제거할 수 있는가?
• RQ2 기존 방법 대비 채널 타일링은 감지 양자화 오차 및 광검출 노이즈에 대해 얼마나 더 강인한가?
• RQ3 정확도를 훼손하지 않으면서 채널 타일링이 출력 카메라 해상도 및 대역폭 요구 수준을 얼마나 감소시킬 수 있는가?
• RQ4 4F CNN 가속기에서 채널 타일링과 의사 음수 방법 간의 성능 및 정확도 상호 간의 상충 관계는 어떠한가?
• RQ5 채널 타일링은 고해상도 입력에 대해 큰 필터 크기를 효율적으로 활용할 수 있도록 하는가?

주요 결과

• 채널 타일링은 기존 최첨단 기술 대비 감지 정밀도 내성에서 33% 향상되어 필요한 감지 정밀도를 낮출 수 있다.
• 내성 가능한 감지 노이즈를 10 dB 감소시켜 광검출 노이즈에 대한 시스템의 내성 능력을 크게 향상시켰다.
• 추가 광학 하드웨어 없이도 기존 기술 대비 10–50× 높은 처리량을 달성하였다.
• 출력 카메라 해상도 및 대역폭 요구 수준이 최소 3배 감소하여 4F 시스템에서 핵심적인 병목 현상을 완화하였다.
• CIFAR-10 데이터셋과 VGG16을 사용한 실험에서, 다른 타일링 방법 대비 정확도를 36%포인트 향상시켰다.
• 노이즈 및 양자화 내성 향상 덕분에 더 빠르고 낮은 비트 깊이의 카메라를 사용할 수 있어 고속 운영이 가능해졌다.