[論文レビュー] Accelerating Deep Learning Applications in Space

Martina Lofqvist, José Cano|arXiv (Cornell University)|Jul 21, 2020

Advanced Neural Network Applications参考文献 29被引用数 9

ひとこと要約

本論文は、宇宙空間におけるリソース制約のあるエッジデバイス、特にNVIDIA Jetson Nano上でリアルタイムのディープラーニング推論を最適化するため、画像圧縮技術—無損失圧縮および画像スケーリング—を調査している。両技術を適用することで、著者らは推論時間とメモリ使用量をそれぞれ最大40分および1050MBまで削減し、精度の損失は最小限に抑えられ、キューブサット互換のハードウェアでも全データセットの処理が可能になった。

ABSTRACT

Computing at the edge offers intriguing possibilities for the development of autonomy and artificial intelligence. The advancements in autonomous technologies and the resurgence of computer vision have led to a rise in demand for fast and reliable deep learning applications. In recent years, the industry has introduced devices with impressive processing power to perform various object detection tasks. However, with real-time detection, devices are constrained in memory, computational capacity, and power, which may compromise the overall performance. This could be solved either by optimizing the object detector or modifying the images. In this paper, we investigate the performance of CNN-based object detectors on constrained devices when applying different image compression techniques. We examine the capabilities of a NVIDIA Jetson Nano; a low-power, high-performance computer, with an integrated GPU, small enough to fit on-board a CubeSat. We take a closer look at the Single Shot MultiBox Detector (SSD) and Region-based Fully Convolutional Network (R-FCN) that are pre-trained on DOTA - a Large Scale Dataset for Object Detection in Aerial Images. The performance is measured in terms of inference time, memory consumption, and accuracy. By applying image compression techniques, we are able to optimize performance. The two techniques applied, lossless compression and image scaling, improves speed and memory consumption with no or little change in accuracy. The image scaling technique achieves a 100% runnable dataset and we suggest combining both techniques in order to optimize the speed/memory/accuracy trade-off.

研究の動機と目的

• キューブサットのような低消費電力でリソースが制限されたエッジデバイスにリアルタイムのディープラーニングオブジェクト検出器をデプロイする課題に対処すること。
• 宇宙軌道上でのCNNベースのオブジェクト検出器のリアルタイム性能を阻害する、メモリ、計算能力、電力の制限を克服すること。
• エッジハードウェア上で大規模な衛星画像を処理する際の、推論速度、メモリ使用量、精度のトレードオフを評価すること。
• リソース制約のあるデバイス上で顕著な精度低下を伴わずに、全データセットの処理を可能にする有効な画像圧縮技術を同定すること。
• 低コストで高効率なエッジデバイスを用いて、地球観測や自律的宇宙応用のための軌道上処理の実現可能性を示すこと。

提案手法

• キューブサットへのデプロイメントに適した、統合GPUを備えた低消費電力で高性能なエッジデバイス、NVIDIA Jetson Nanoを用いた。
• Dotaデータセット（オブジェクト検出のための大規模な空中画像データセット）上で、事前学習済みのオブジェクト検出モデル2つ（SSDおよびR-FCN）を評価した。
• 計算負荷とメモリ使用量を削減するために、画像解像度を元のサイズの80%、50%、30%にスケーリングした。
• ピクセル寸法に変更を加えずにファイルサイズを縮小するため、無損失圧縮（例：PNG）を適用し、画像忠実度を保持した。
• 交差オーバーラップ率（IoU）を用いた平均精度評価により、推論時間、メモリ使用量、精度の観点から性能を測定した。
• 高性能クラスタ上で元サイズの画像を実行することでベースラインを確立し、Jetson Nanoの性能と比較した。

実験結果

リサーチクエスチョン

• RQ1 画像スケーリングと無損失圧縮は、Jetson Nano上でオブジェクト検出器を実行する際、推論時間とメモリ使用量にどのように影響を与えるか？
• RQ2 画像圧縮技術は、リソース制約のあるエッジデバイス上で推論速度を向上させ、メモリ使用量を削減するにあたり、どの程度の精度を維持できるか？
• RQ3 低消費電力GPU上で大規模な衛星画像を処理する際、推論速度、メモリ使用量、精度の間のトレードオフはいかなるものか？
• RQ4 無損失圧縮と画像スケーリングの組み合わせにより、元々大きな画像を処理できないようなデバイス（例：Jetson Nano）でも、全データセットの処理が可能になるか？
• RQ5 画像の形状（正方形対長方形）は、エッジデバイス上でのオブジェクト検出精度にどのように影響を与えるか？

主な発見

• 画像スケーリングにより、SSDおよびR-FCNの両モデルで平均推論時間が2秒短縮され、メモリ使用量が1050MB削減され、実行時間の効率が顕著に向上した。
• 無損失圧縮により、SSDでは2.14秒、R-FCNでは1.16秒の推論時間が短縮され、精度に変化はなく、速度最適化に有効であることが示された。
• 無損失圧縮と画像スケーリングの組み合わせにより、Jetson Nano上でDota検証セットの100%が処理可能となり、当初のハードウェア制限を克服した。
• 元の画像の10%はピクセル寸法が高いため処理不能だったが、画像を59%圧縮することで、全データセットが実行可能になった。
• R-FCNは正方形画像では43.2%の精度を達成した一方、非常に長方形の画像では4.5%に低下し、精度面でSSDを上回ったが、処理が遅く、より多くのメモリを消費した。
• 全体として、最大画像のリサイズにより推論時間が40分以上短縮されたことから、画像前処理による性能向上の顕著な効果が明らかになった。