[論文レビュー] Chameleon: Adaptive Code Optimization for Expedited Deep Neural Network Compilation

Byung Hoon Ahn, Prannoy Pilligundla+2 more|arXiv (Cornell University)|Jan 23, 2020

Advanced Neural Network Applications参考文献 51被引用数 27

ひとこと要約

Chameleonは、強化学習に基づく適応的探索と知識ガイダンス付きサンプリング手法を導入し、深層ニューラルネットワークコンパイルを高速化する。実ハードウェア上でのAutoTVMと比較して、最適化時間を4.45倍短縮し、推論性能を5.6%向上させ、手動最適化に依存せずに高速でスケーラブルなコード生成を実現する。

ABSTRACT

Achieving faster execution with shorter compilation time can foster further diversity and innovation in neural networks. However, the current paradigm of executing neural networks either relies on hand-optimized libraries, traditional compilation heuristics, or very recently genetic algorithms and other stochastic methods. These methods suffer from frequent costly hardware measurements rendering them not only too time consuming but also suboptimal. As such, we devise a solution that can learn to quickly adapt to a previously unseen design space for code optimization, both accelerating the search and improving the output performance. This solution dubbed Chameleon leverages reinforcement learning whose solution takes fewer steps to converge, and develops an adaptive sampling algorithm that not only focuses on the costly samples (real hardware measurements) on representative points but also uses a domain-knowledge inspired logic to improve the samples itself. Experimentation with real hardware shows that Chameleon provides 4.45x speed up in optimization time over AutoTVM, while also improving inference time of the modern deep networks by 5.6%.

研究の動機と目的

• ハードウェア測定にコストがかかるため、自動DNN最適化フレームワークの長いコンパイル時間の短縮を目的とする。
• ターゲットネットワークやハードウェアに関する事前知識がなくても、未確認の設計空間に適応することで最適化効率を向上させることを目的とする。
• 探索中に冗長で無駄なハードウェア測定を減らすために、知的に構成をサンプリングすることを目的とする。
• ドメイン知識とクラスタリングを活用して高ポ텐シャルな構成を合成することで、探索品質を向上させることを目的とする。
• 手動最適化ライブラリに依存せず、多様なDNN向けに高速でスケーラブルかつ自動化されたコード生成を可能とすることを目的とする。

提案手法

• Chameleonは、スケジュール探索空間における動的適応的探索戦略を学習する強化学習エージェントを採用し、フィードバックから学習することで、より速く収束する。
• クラスタリングに基づく適応的サンプリング戦略を用い、設計空間内の代表的ポイントを特定し、必要なハードウェア測定回数を削減する。
• ドメイン知識を基にしたサンプル合成モジュールが、高い適合度を持つ候補構成を生成することで、探索品質を向上させ、重複評価を回避する。
• TVM や AutoTVM などの既存コンパイラーと統合され、それらの探索および測定フェーズを、適応的かつ学習駆動型の代替手段に置き換える。
• コストモデルは、ブーストツリーによる予測適合度と、重要な構成に対する選択的実ハードウェア測定の組み合わせで更新される。
• 新規のネットワークアーキテクチャ上でエンドツーエンドに学習され、未確認のDNNアーキテクチャに対しても迅速に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、未確認の設計空間に適応することで、DNNコンパイルの最適化に効果的に適用可能か？
• RQ2 最適化中の高コストなハードウェア測定回数を減らすために、サンプリング戦略をどのように適応的に設計できるか？
• RQ3 ドメイン知識をサンプリングプロセスに統合することで、より高品質な候補構成を生成できるか？
• RQ4 適応的探索とサンプリングの組み合わせは、コンパイル時間をどれほど短縮できるか、かつ最終的な推論性能をどれほど向上できるか？
• RQ5 強化学習に基づく探索と知識ガイダンス付きサンプリングの組み合わせは、従来の確率的またはグリーディ探索手法をどれほど上回るか？

主な発見

• Chameleonは、ResNet-18、VGG-16、AlexNetなどの現代的DNN上で、AutoTVMと比較して最適化時間を4.45倍短縮した。
• 評価対象ネットワーク全体で平均5.6%の推論性能向上を達成し、より優れたコード品質であることを示した。
• 適応的サンプリング戦略により、代表的かつ高ポテンシャルな構成に焦点を当てることで、必要なハードウェア測定回数が削減された。
• 強化学習の活用により、未確認のDNNアーキテクチャに対しても、高品質なスケジュールに迅速に収束できるようになった。
• ドメイン知識を基にしたサンプル合成モジュールにより、探索プロセスの初期段階で高性能な構成を発見する可能性が高まった。
• Chameleonは公開されており、TVM や AutoTVM などの既存フレームワークと互換性があるため、広範な採用と統合が可能である。