[論文レビュー] Caffe con Troll: Shallow Ideas to Speed Up Deep Learning

Stefan Hadjis, Firas Abuzaid+2 more|arXiv (Cornell University)|Apr 16, 2015

Video Analysis and Summarization参考文献 9被引用数 23

ひとこと要約

Caffe con Troll (CcT) は、最適化された CPU バッチ処理と最適な畳み込み低レベル化戦略の自動選択により、深層学習を高速化する完全互換性を持つ再アーキテクチャ化された Caffe のバージョンである。CPU 僅用の学習では最大 4.5 倍の高速化を達成し、ハイブリッド CPU-GPU 並列処理を可能にし、EC2 GPU インスタンスで 15% 以上のエンドツーエンドの高速化を実現した。これは、未利用の CPU リソースを活用することで達成された。

ABSTRACT

We present Caffe con Troll (CcT), a fully compatible end-to-end version of the popular framework Caffe with rebuilt internals. We built CcT to examine the performance characteristics of training and deploying general-purpose convolutional neural networks across different hardware architectures. We find that, by employing standard batching optimizations for CPU training, we achieve a 4.5x throughput improvement over Caffe on popular networks like CaffeNet. Moreover, with these improvements, the end-to-end training time for CNNs is directly proportional to the FLOPS delivered by the CPU, which enables us to efficiently train hybrid CPU-GPU systems for CNNs.

研究の動機と目的

• 異なるハードウェアアーキテクチャ、特に CPU と GPU の間で一般化された CNN の学習とデプロイの性能特性を調査すること。
• 深層学習ワークロードの主なボトル neck を同定・最適化すること、特に学習時間の 70–90% を占める畳み込み層に焦点を当てる。
• CPU および GPU における畳み込み処理のマトリクス乗算ベースの低レベル化手法の違いがもたらすトレードオフを調査すること。
• 未利用の CPU を活用することで、CNN におけるハイブリッド CPU-GPU システムの実現可能性を示すこと。
• Caffe の出力と完全に同一の結果を得られるが、アーキテクチャ的およびアルゴリズム的最適化により性能を向上させる完全互換性のあるエンドツーエンドシステムを構築すること。

提案手法

• Caffe をフォークし、内部構造を再構築して、Caffe のレイヤー単位の出力を完全に保持する完全互換性のあるエンドツーエンドシステムである CcT を構築した。
• 既存のフレームワークでしばしば省かれる、CPU 学習における標準的なバッチ処理最適化を採用し、メモリアクセスと並列性を向上させた。
• OpenBLAS や Intel MKL などの BLAS 互換ライブラリを用いて、3D 異方性畳み込み演算をマトリクス乗算に再マップする 3 種類の異なる低レベル化戦略を検討した。
• 畳み込み層の入力チャネル数と出力チャネル数の比に基づき、最適な低レベル化戦略を自動的に選択するオプティマイザを提案した。
• GPU インスタンスにおける未利用の CPU コアを活用し、CPU と GPU が同時に同じ畳み込み層を実行するハイブリッド CPU-GPU システムを設計・評価した。
• CPU と GPU の異なる構成を持つ EC2 インスタンスで、エンドツーエンドの学習時間とスループットを測定し、性能スケーリングと FLOPS 比例性を評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的な CPU バッチ処理最適化は、深層学習フレームワークにおけるエンドツーエンドの学習スループットを顕著に向上させることができるか？
• RQ2 異なる低レベル化戦略が、CPU および GPU における畳み込み処理の性能に与える影響は何か？
• RQ3 畳み込み層の入力チャネル数と出力チャネル数の比に基づいて、最適な低レベル化手法を選択する戦略は何か？
• RQ4 ハイブリッド CPU-GPU システムは、同種の CPU 僅用または GPU 僅用システムよりも優れた性能を達成できるか？
• RQ5 エンドツーエンドの学習時間は、CPU が提供する FLOPS に比例する程度は何か？また、この比例関係はシステム設計に活用可能か？

主な発見

• CcT は、CaffeNet などの一般的なネットワークにおいて、CPU バッチ処理最適化のみで Caffe よりも 4.5 倍のエンドツーエンドスループット向上を達成した。
• CPU 上でのエンドツーエンドの学習時間は、CPU が提供する FLOPS に直接比例しており、FLOPS を性能予測指標として使用することが妥当であることが裏付けられた。
• 最適な畳み込み低レベル化戦略は、入力チャネル数と出力チャネル数の比に依存するが、単純な自動オプティマイザにより最適なバリアントを選択可能であり、最大で 5% のエンドツーエンド性能向上に寄与した。
• EC2 g2.2xlarge GPU インスタンスでは、1 つの畳み込み層に対して CPU を GPU に加えることで、古いかつ低出力の CPU であっても 20% 以上のスループット向上が達成された。
• ハイブリッドシステムでは、1 GPU + CPU の構成で 15% 以上のエンドツーエンドの高速化が得られ、EC2 g2.8xlarge インスタンスでは 4 GPU を使用した場合に 3 倍以上の高速化が達成された。これは、コプロセッシングの有効性を示している。
• 本研究では、GPU を基盤とするクラウドインスタンスにおいて CPU が著しく未利用であることが明らかになった。その統合により、アーキテクチャの大幅な見直しを伴わずに顕著な性能向上が得られることが示された。