[論文レビュー] Neural Network Distiller: A Python Package For DNN Compression Research

Neta Zmora, Guy Jacob+3 more|arXiv (Cornell University)|Oct 27, 2019

Computational Physics and Python Applications参考文献 39被引用数 52

ひとこと要約

この論文は Neural Network Distiller を紹介します。PyTorch のオープンソース Python パッケージで、DNN 圧縮アルゴリズムのライブラリ、スケジューリングツール、チュートリアルを提供し、モデル圧縮研究の容易な実験と拡張を可能にします。

ABSTRACT

This paper presents the philosophy, design and feature-set of Neural Network Distiller, an open-source Python package for DNN compression research. Distiller is a library of DNN compression algorithms implementations, with tools, tutorials and sample applications for various learning tasks. Its target users are both engineers and researchers, and the rich content is complemented by a design-for-extensibility to facilitate new research. Distiller is open-source and is available on Github at https://github.com/NervanaSystems/distiller.

研究の動機と目的

• エッジデバイス推論のための標準化された、再現性のある DNN 圧縮研究の必要性を動機づける。
• 研究者とエンジニアのための圧縮アルゴリズムとツール群の拡張可能で使いやすいライブラリを提供する。
• スケジューリングシステムと YAML 設定を介してトレーニングと圧縮を組み合わせることで迅速な実験を可能にする。

提案手法

• Python/PyTorch フレームワーク内でコア圧縮ブロック（プルーニング、量子化、正則化）を実装する。
• 追加技術（低ランク分解、条件付き計算、知識蒸留、自動圧縮）と既存モデル/データセットとの統合を提供する。
• ユーザー定義のスケジュールに従ってトレーニングと圧縮を組み合わせるための YAML ベースのレシピパーサを備えた圧縮スケジューリングサブシステムを導入する。
• 実験とデプロイメントワークフローを支援するためのロギング、チェックポイント、データロード、モデルサマリのユーティリティ、および ONNX へのエクスポートを提供する。
• Torchvision および Cadene のモデルを使用して、画像分類、レコメンダーシステム、NLP、物体検出などのタスクにおける適用性を示し、新しいモデル/タスクへの拡張を容易にする。

実験結果

リサーチクエスチョン

• RQ1 同じ実験条件（データセット、前処理、ハイパーパラメータ、実行環境）で研究者は DNN 圧縮法をテスト・比較できるか？
• RQ2 圧縮法をトレーニングと効果的に組み合わせて、反復的なプルーニング、量子化、またはその他の圧縮を達成できるか？
• RQ3 Distiller は圧縮法の混合をサポートし、新しいアイデアをプロトタイプするための柔軟なフレームワークを提供するか？
• RQ4 Distiller のスケジューリングとユーティリティは、迅速な研究プロトタイピングと知識共有の範囲と実用性をどの程度持つか？

主な発見

• Distiller は、幅広い圧縮手法（プルーニング、量子化、正則化）と関連技術（低ランク、蒸留）を1つのライブラリに統合します。
• 圧縮スケジューリングサブシステムと YAML ベースの設定により、トレーニングと圧縮の反復をプログラム的にまたは設定ファイル経由で制御します。
• このツールキットは PyTorch、Torchvision モデル、および Cadene モデルと容易に連携するように設計されており、研究を加速するチュートリアル、ノートブック、およびドキュメントを含みます。
• Distiller は画像分類、レコメンダーシステム、NLP、物体検出を含む複数のタスクをサポートし、ドメインを跨ぐ汎用性を示します。
• 著者は、FP32 操作で INT8 を模擬することや、公開版に ONNX/Glow エクスポートがないことなどの現状の制限を認め、ネイティブ PyTorch 量子化と整合する予定を示します。