[논문 리뷰] Accelerating Deep Learning Applications in Space

Martina Lofqvist, José Cano|arXiv (Cornell University)|2020. 07. 21.

Advanced Neural Network Applications참고 문헌 29인용 수 9

한 줄 요약

이 논문은 우주에서 자원이 제한된 엣지 디바이스, 특히 NVIDIA Jetson Nano에서 실시간 딥러닝 추론을 최적화하기 위해 손실 없는 압축 및 이미지 스케일링 기법을 조사한다. 두 기법을 적용함으로써 저자들은 정확도 손실가 최소화된 상태에서 추론 시간과 메모리 사용량을 각각 최대 40분과 1050MB 감소시켰으며, 이는 큐브사트 호환 하드웨어에서 전체 데이터셋 처리를 가능하게 한다.

ABSTRACT

Computing at the edge offers intriguing possibilities for the development of autonomy and artificial intelligence. The advancements in autonomous technologies and the resurgence of computer vision have led to a rise in demand for fast and reliable deep learning applications. In recent years, the industry has introduced devices with impressive processing power to perform various object detection tasks. However, with real-time detection, devices are constrained in memory, computational capacity, and power, which may compromise the overall performance. This could be solved either by optimizing the object detector or modifying the images. In this paper, we investigate the performance of CNN-based object detectors on constrained devices when applying different image compression techniques. We examine the capabilities of a NVIDIA Jetson Nano; a low-power, high-performance computer, with an integrated GPU, small enough to fit on-board a CubeSat. We take a closer look at the Single Shot MultiBox Detector (SSD) and Region-based Fully Convolutional Network (R-FCN) that are pre-trained on DOTA - a Large Scale Dataset for Object Detection in Aerial Images. The performance is measured in terms of inference time, memory consumption, and accuracy. By applying image compression techniques, we are able to optimize performance. The two techniques applied, lossless compression and image scaling, improves speed and memory consumption with no or little change in accuracy. The image scaling technique achieves a 100% runnable dataset and we suggest combining both techniques in order to optimize the speed/memory/accuracy trade-off.

연구 동기 및 목표

• 큐브사트와 같은 저전력, 자원이 제한된 엣지 디바이스에 실시간 딥러닝 객체 검출기를 구현하는 데 도전한다.
• 지구 궤도에서 CNN 기반 객체 검출기의 실시간 성능을 저해하는 메모리, 계산 능력, 전력 제약을 극복한다.
• 엣지 하드웨어에서 대규모 위성 이미지를 처리할 때 추론 속도, 메모리 소비, 정확도 간의 상호 상충 관계를 평가한다.
• 정확도 저하가 크지 않은 수준에서 제한된 디바이스에서 전체 데이터셋 처리를 가능하게 하는 효과적인 이미지 압축 기법을 규명한다.
• 저비용·고효율 엣지 디바이스를 활용한 궤도상 처리의 실현 가능성을 입증한다.

제안 방법

• 큐브사트 배치에 적합한 저전력·고성능 엣지 디바이스인 NVIDIA Jetson Nano를 사용하였다.
• 대규모 항공 이미지 데이터셋인 DOTA에서 사전 훈련된 객체 검출 모델 두 종류—SSD와 R-FCN—을 평가하였다.
• 계산 부담과 메모리 사용량을 줄이기 위해 이미지 해상도를 원본 크기의 80%, 50%, 30%로 조정하는 이미지 스케일링을 적용하였다.
• 픽셀 차원을 그대로 유지하면서 파일 크기를 줄이기 위해 손실 없는 압축(예: PNG)을 적용하였다.
• 정확도 평가를 위해 평균 정밀도 평가에 사용된 교차율(Intersection over Union, IoU)을 기반으로 추론 시간, 메모리 소비, 정확도를 측정하였다.
• 고성능 클러스터에서 원본 크기의 이미지를 실행하여 기준 성능을 확보하고, Jetson Nano의 성능과 비교 분석하였다.

실험 결과

연구 질문

• RQ1 이미지 스케일링과 손실 없는 압축은 Jetson Nano에서 객체 검출기를 실행할 때 추론 시간과 메모리 소비에 어떤 영향을 미치는가?
• RQ2 이미지 압축 기법은 제한된 엣지 디바이스에서 성능 향상과 메모리 감소를 이루면서 정확도를 얼마나 유지할 수 있는가?
• RQ3 저전력 GPU에서 대규모 위성 이미지를 처리할 때 추론 속도, 메모리 사용량, 정확도 간의 상호 상충 관계는 어떠한가?
• RQ4 손실 없는 압축과 이미지 스케일링의 조합은 기존에 큰 이미지를 처리할 수 없는 Jetson Nano와 같은 디바이스에서 전체 데이터셋 처리를 가능하게 하는가?
• RQ5 이미지 형태(정사각형 대 비율이 긴 직사각형)는 엣지 디바이스에서 객체 검출 정확도에 어떤 영향을 미치는가?

주요 결과

• 이미지 스케일링은 SSD 및 R-FCN 모델 전반에 걸쳐 평균 추론 시간을 2초 감소시키고 메모리 소비를 1050MB 감소시켜 런타임 효율을 크게 향상시켰다.
• 손실 없는 압축은 정확도에 영향을 주지 않은 채 SSD의 경우 2.14초, R-FCN의 경우 1.16초의 추론 시간을 단축시켜 속도 최적화에 효과적임을 입증하였다.
• 손실 없는 압축과 이미지 스케일링의 조합을 통해 Jetson Nano에서 DOTA 검증 세트의 100%를 처리할 수 있게 되었으며, 초기 하드웨어 제약을 극복하였다.
• 원본 이미지의 10%는 높은 픽셀 차원으로 인해 처리 불가능했지만, 이미지를 59% 압축함으로써 전체 데이터셋을 실행 가능하게 하였다.
• R-FCN은 정사각형 이미지에서는 43.2%의 정확도를 기록했고, 매우 비율이 긴 직사각형 이미지에서는 4.5%로 SSD를 초월했지만, 더 느리고 더 많은 메모리를 소비하였다.
• 결론적으로, 가장 큰 이미지의 크기를 조정함으로써 총 추론 시간이 40분 이상 감소하여 이미지 전처리가 성능 향상에 상당한 기여를 했다고 볼 수 있다.