[論文レビュー] Accelerated Convolutions for Efficient Multi-Scale Time to Contact Computation in Julia

Alexander Amini, Berthold K. P. Horn+1 more|arXiv (Cornell University)|Dec 28, 2016

Advanced Image and Video Retrieval Techniques参考文献 7被引用数 3

ひとこと要約

本稿では、機械視覚におけるリアルタイムなマルチスケール時間到着予測（TTC）推定を目的とした、Juliaで実装された最適化されたn次元畳み込みライブラリ、FastConvを提示する。アルゴリズム的最適化とメモリ効率の向上により、従来手法と比較して計算時間とメモリ使用量が10倍以上削減され、合成動画データにおいて1フレームあたり数ミリ秒の低遅延を実現し、約10 HzのリアルタイムTTC計算が可能になった。

ABSTRACT

Convolutions have long been regarded as fundamental to applied mathematics, physics and engineering. Their mathematical elegance allows for common tasks such as numerical differentiation to be computed efficiently on large data sets. Efficient computation of convolutions is critical to artificial intelligence in real-time applications, like machine vision, where convolutions must be continuously and efficiently computed on tens to hundreds of kilobytes per second. In this paper, we explore how convolutions are used in fundamental machine vision applications. We present an accelerated n-dimensional convolution package in the high performance computing language, Julia, and demonstrate its efficacy in solving the time to contact problem for machine vision. Results are measured against synthetically generated videos and quantitatively assessed according to their mean squared error from the ground truth. We achieve over an order of magnitude decrease in compute time and allocated memory for comparable machine vision applications. All code is packaged and integrated into the official Julia Package Manager to be used in various other scenarios.

研究の動機と目的

• リアルタイムの機械視覚アプリケーションに特化した、高性能でメモリ効率の良い畳み込みライブラリの開発。
• n次元畳み込みを用いて自律システムにおける時間到着予測（TTC）および拡散中心（FOE）の計算を高速化すること。
• マルチスケール解像度処理を活用して、リソース制限のある組み込みデバイスでもリアルタイムかつ低遅延のTTC推定を実現すること。
• 最適化された畳み込みおよびTTCパイプラインを公式のJuliaパッケージマネージャーに統合し、広範な再現性と再利用性を確保すること。
• 合成動画シーケンスを用いて真値TTCを提供し、定量的検証を実施することで、性能向上を評価すること。

提案手法

• Juliaの高性能コンピューティング能力を活用し、高速でn次元畳み込みアルゴリズム（FastConv）を実装。
• 有限差分を用いて動画フレームから画像勾配 $E_x$, $E_y$, および $E_t$ を計算。
• 段階的な精細化を伴うマルチスケールダウンサンプリングを適用し、TTC推定の精度を最適化。
• ブロック平均化とローパassingフィルタリングを用いて、畳み込みの前処理として高解像度画像のノイズを低減。
• 共通するカーネル（ガウスや微分など）に対して、分離可能カーネル検出を導入し、計算複雑度を $O(n^2)$ から $O(n)$ に低減。
• 大規模なカーネルサイズに対してはFFTベースの畳み込みを採用し、直接畳み込みを超える適用範囲を拡大。

実験結果

リサーチクエスチョン

• RQ1 Juliaベースの畳み込みライブラリは、機械視覚ワークロードにおいて、従来実装と比較して10倍の性能向上を達成できるか？
• RQ2 マルチスケール解像度処理は、合成動画シーケンスにおける時間到着予測推定の精度にどのように影響するか？
• RQ3 高精度なTTCおよびFOE計算を維持しつつ、メモリ割り当てをどの程度削減できるか？
• RQ4 加速された畳み込み手法は、標準ハードウェア上で10～30 Hzのリアルタイム処理をサポートできるか？
• RQ5 事前環境知識なしに、段階的ダウンサンプリングはTTC推定の精度向上にどの程度有効か？

主な発見

• FastConvは、ベースライン実装と比較して、計算時間および割り当てメモリ量の両方で10倍以上の削減を達成した。
• マルチスケールTTCアルゴリズムは、静的ダウンサンプリング手法を上回り、合成動画データにおいて平均二乗誤差（MSE）を顕著に低減した。
• 標準定義動画シーケンスにおいて、基本TTCアルゴリズムでは約30 Hz、マルチスケールバージョンでは約10 Hzのリアルタイム性能を達成した。
• 実装は1フレームあたり数ミリ秒の処理時間であり、組み込みシステムやリアルタイムロボット制御システムに適した性能を示した。
• FastConvをJuliaパッケージマネージャーに統合することで、最小限のセットアップで多様なアプリケーションに即座に再利用可能となった。
• 分離可能カーネル検出により、計算複雑度が $O(n^2)$ から $O(n)$ に低下し、一般的な機械視覚カーネルにおいてさらなる性能向上が達成された。