[論文レビュー] Theano: new features and speed improvements

Frédéric Bastien, Pascal Lamblin+7 more|arXiv (Cornell University)|Nov 23, 2012

Parallel Computing and Optimization Techniques参考文献 10被引用数 1,038

ひとこと要約

この論文は、記号的数学的式を効率的な低レベルコードにコンパイルするディープラーニングライブラリであるTheanoにおいて、顕著な新機能とパフォーマンス最適化を提示している。シンボリックループを可能にするScanオペレータの導入、Rオペレータによる勾配計算の最適化、およびtrust_inputやバッチ化関数呼び出しといった最適化により、Pythonのオーバーヘッドを低減することで、TheanoはCPUおよびGPUの両方でTorch7やRNNLMと同等またはそれ以上の速度を達成しており、特にミニバッチ処理において顕著である。

ABSTRACT

Theano is a linear algebra compiler that optimizes a user's symbolically-specified mathematical computations to produce efficient low-level implementations. In this paper, we present new features and efficiency improvements to Theano, and benchmarks demonstrating Theano's performance relative to Torch7, a recently introduced machine learning library, and to RNNLM, a C++ library targeted at recurrent neural networks.

研究の動機と目的

• シンボリックループのサポートを導入することで、特に再帰ニューラルネットワークを含む複雑な機械学習モデルの学習におけるTheanoの能力を向上させること。
• 特にPythonインタプリタやデータ型変換に起因する計算オーバーヘッドを低減することで、実行速度を向上させること。
• ループや複雑な演算における効率的な記号的微分を可能にし、高度な最適化および学習アルゴリズムを支援すること。
• Torch7 や RNNLM といった先端フレームワークと比較して、実世界のディープラーニングシナリオにおけるTheanoの競争力を評価するベンチマークを実施すること。

提案手法

• Scanオペレータにより、ループを計算グラフ内の単一のノードとして抽象化し、可変長の反復処理においても記号的微分および最適化を可能にした。
• Gauss-Newtonのヘシアン・ベクタ積を効率的に計算するため、Rオペレータを実装した。これにより、2次最適化手法のサポートが可能になった。
• Theanoのコンパイルパイプラインを最適化し、入力型チェックの無効化（trust_inputフラグによる）を含む非計算的オーバーヘッドを低減した。
• 関数を複数回呼び出す際のPythonループオーバーヘッドを排除するため、バッチ化関数呼び出し（f.fn(n_calls=N)）を導入した。
• CUDAを介したGPUアクセcelerationと、密度行列計算に最適化されたBLAS演算を統合することで、高速化を実現した。
• コンパilation段階で自動的に適用されるグラフレベルの最適化（例：ループ統合、数値安定性の向上（例：安定化されたlog-sigmoid））が実施された。

実験結果

リサーチクエスチョン

• RQ1 Theanoは、微分可能性やパフォーマンスに悪影響を与えることなく、記号的ループ抽象化により再帰的モデルを効率的にサポートできるか？
• RQ2 特にバッチサイズを変化させた場合に、TheanoのパフォーマンスはTorch7 や RNNLM と比べてどの程度か？
• RQ3 入力型チェックとPythonインタプリタのオーバーヘッドがTheanoの速度にどの程度影響を与えているか、そしてこれらを軽減できるか？
• RQ4 Theanoの記号的微分機能は、Rオペレータやループ内でのバックプロパゲーションを含む、複雑な演算に対しても拡張可能か？

主な発見

• ミニバッチ処理を用いた場合、隠れ層を含むモデルにおいて、TheanoはBLASベースの並列処理の効率性により、CPU上でTorch7を上回る性能を発揮した。
• ミニバッチサイズが10または60の場合、すべてのテストアーキテクチャにおいて、TheanoはTorch7と同等またはそれ以上の速度を達成しており、計算がオーバーヘッドを上回るようになるにつれて顕著になった。
• バッチサイズ1のGPU環境では、小さなモデルではRNNLMがTheanoを上回るが、より大きなモデルでは最適化設定によるオーバーヘッドの低減のおかげで、Theanoがその差を著しく縮めた。
• trust_inputフラグによる入力型チェックの無効化により、特に入力がすでに正しい場合にデータ変換のオーバーヘッドが低減され、パフォーマンスが向上した。
• バッチ化関数呼び出し（f.fn(n_calls=N)）により、Pythonループのオーバーヘッドが完全に排除され、パラメータ更新のみが重要な反復的学習プロセスが著しく高速化された。
• Scanオペレータにより、可変長の反復処理に対しても、バックプロパゲーション・スケジューリングやRオペレータ評価を含む、正しいかつ効率的な勾配計算が可能になった。