[論文レビュー] ShapeFlow: Dynamic Shape Interpreter for TensorFlow

Sahil Verma, Zhendong Su|arXiv (Cornell University)|Nov 26, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 7

ひとこと要約

ShapeFlowは、コードアノテーションを必要とせず、テンソルの形状互換性を解析するTensorFlow向けの動的抽象解釈器である。52のディープラーニングベンチマークにおいて、499倍の平均高速化と100％の正確性（誤検出は1件のみ）を達成し、機械学習開発者にとって実用的でアノテーションフリーのデバッグソリューションを提供する。

ABSTRACT

We present ShapeFlow, a dynamic abstract interpreter for TensorFlow which quickly catches tensor shape incompatibility errors, one of the most common bugs in deep learning code. ShapeFlow shares the same APIs as TensorFlow but only captures and emits tensor shapes, its abstract domain. ShapeFlow constructs a custom shape computational graph, similar to the computational graph used by TensorFlow. ShapeFlow requires no code annotation or code modification by the programmer, and therefore is convenient to use. We evaluate ShapeFlow on 52 programs collected by prior empirical studies to show how fast and accurately it can catch shape incompatibility errors compared to TensorFlow. We use two baselines: a worst-case training dataset size and a more realistic dataset size. ShapeFlow detects shape incompatibility errors highly accurately -- with no false positives and a single false negative -- and highly efficiently -- with an average speed-up of 499X and 24X for the first and second baseline, respectively. We believe ShapeFlow is a practical tool that benefits machine learning developers. We will open-source ShapeFlow on GitHub to make it publicly available to both the developer and research communities.

研究の動機と目的

• ディープラーニングコードにおいて頻発し、計算リソースを無駄にすることが多い形状不一致エラーの検出が高頻度でかつ高コストであるという問題に対処する。
• Ariadne や Pythia などの先行静的解析ツールが手動でのコードアノテーションを必要としており、広範な利用には現実的でないという制限を克服する。
• 元のコードを変更せず、開発者によるアノテーションを必要としない、軽量で正確な動的技術を開発し、実行中にテンソルの形状を解析する。
• デバッグ時間と計算リソースの無駄を減らすために、ディープラーニングパイプラインの初期段階で形状関連のバグを素早く正確に検出できるようにする。
• TensorFlowにシームレスに統合され、開発者の負担を増やさずに実世界のディープラーニングワークフローをサポートする実用的でオープンソースのツールを提供する。

提案手法

• ShapeFlowは、実際のテンソル値を破棄し、実行中にのみテンソルの形状を追跡する、TensorFlow API の形状キャプチャ版を実装する。
• オリジナルのTensorFlow計算グラフに類似したカスタム形状計算グラフを構築することで、動的形状解析を可能にする。
• 解釈ベースの動的動作をとるため、データから入力テンソルの形状を推定し、演算を通じて形状制約を伝搬する。
• 実行中に演算がその形状事前条件を満たさない入力を受けるかどうかをチェックすることで、形状不一致エラーを検出する。
• PythonおよびTensorFlowのランタイム環境を活用して、コードを変更せずにプログラムを実行し、互換性と使いやすさを確保する。
• すべての形状制約が満たされている場合は「エラーは検出されませんでした」と返信し、不一致が発見された場合は形状エラーのメッセージとともにクラッシュする。

実験結果

リサーチクエスチョン

• RQ1 既存の静的解析ツールよりも、動的形状解析技術がディープラーニングコードにおけるテンソルの形状不一致エラーを、より効率的かつ正確に検出できるか。
• RQ2 コードアノテーションや修正を一切必要としない形で、形状解析ツールがどれほど高速かつ正確に動作できるか。
• RQ3 完全なTensorFlow実行と比較して、動的形状インタプリタの実行速度とエラー検出正確性はどの程度か。
• RQ4 既知の形状バグを含む実世界のディープラーニングプログラムに対して、そのようなツールの偽陽性および偽陰性率はどの程度か。
• RQ5 開発者が追加の工学的・保守的負担を負わずに、そのようなツールを実際の開発プロセスに実用的に採用できるか。

主な発見

• ShapeFlowは、52の不具合のあるプログラムのうち51件で形状不一致エラーを100％の正確性で検出し、誤検出はたった1件のみだった。
• 修正済みバージョンのすべてのプログラムで偽陽性ゼロを達成し、エラー検出の高い正確性を示した。
• 最悪ケースのトレーニングデータサイズを用いた場合、ShapeFlowは完全なTensorFlow実行と比較して平均499倍の高速化を達成した。
• より現実的なデータサイズでも、ShapeFlowは完全実行と比較して平均24倍の高速化を維持した。
• コードアノテーションや修正が一切不要であったため、実世界での利用に実用的で開発者フレンドリーであった。
• 数千のTensorFlow API のうちたった118個の変更で実装されたため、将来的な保守性と拡張性を確保した。