[論文レビュー] Developing Bug-Free Machine Learning Systems With Formal Mathematics

Daniel Selsam, Percy Liang+1 more|arXiv (Cornell University)|Jun 26, 2017

Computability, Logic, AI Algorithms参考文献 11被引用数 28

ひとこと要約

この論文は、形式的数学とインタラクティブな証明アシスタントを用いて、証明可能に正しい機械学習システムを構築するための手法を提案する。システムの仕様を数学的定理として符号化し、証明アシスタント内でそれらを証明することで、実装エラーが検証段階で体系的に露呈され、認証済みでバグのないシステムが得られる。これは、勾配計算システムCertigradを用いて実証された。Certigradは、TensorFlowと同等の学習性能を示すが、バイアスのない勾配を形式的に検証済みである。

ABSTRACT

Noisy data, non-convex objectives, model misspecification, and numerical instability can all cause undesired behaviors in machine learning systems. As a result, detecting actual implementation errors can be extremely difficult. We demonstrate a methodology in which developers use an interactive proof assistant to both implement their system and to state a formal theorem defining what it means for their system to be correct. The process of proving this theorem interactively in the proof assistant exposes all implementation errors since any error in the program would cause the proof to fail. As a case study, we implement a new system, Certigrad, for optimizing over stochastic computation graphs, and we generate a formal (i.e. machine-checkable) proof that the gradients sampled by the system are unbiased estimates of the true mathematical gradients. We train a variational autoencoder using Certigrad and find the performance comparable to training the same model in TensorFlow.

研究の動機と目的

• 機械学習システムにおける実装エラーの検出の難しさ、特にノイズ、非凸性、数値的不安定性に隠されがちな点を解決する。
• 実験的テストに依存することを減らし、インタラクティブな証明アシスタントを用いた形式的検証に置き換える。
• バックプロパゲーションを計算グラフ上で行うような、複雑な確率的機械学習システムに対しても、形式的検証を実用的に適用できることを示す。
• 形式的検証済みのシステムが、TensorFlowのような産業用システムと同等のパフォーマンスを達成でき、かつ正しさを保証できることを示す。
• 開発者がすべてのシステム相互作用を手動で検証する必要なく、高い信頼性を確保できるようにすること。

提案手法

• インタラクティブな証明アシスタントを用いて、システムの正しさを定理証明言語で表現された形式的数学的定理として定式化する。
• 同じ証明アシスタント環境内でのプログラミング言語を用いて、機械学習システムを実装する。
• 実装が提示された数学的仕様を満たすことを形式的証明で示し、証明義務が実装エラーを露呈する。
• 特定のモデル（例：AEVB）が正しさに必要な事前条件を満たすことを自動的に検証するためのヒューリスティック戦略プログラムを適用する。
• 理想化された実数演算を浮動小数点演算と最適化されたテンソルライブラリ（例：Eigen）に置き換えつつ、数値誤差がアルゴリズム的バグとは概念的に異なることを認識する。
• サンプルされた勾配が真の数学的勾配の不偏推定であることを証明することで、確率的計算グラフにおける勾配計算の正しさを検証する。

実験結果

リサーチクエスチョン

• RQ1 証明アシスタントによる形式的数学的検証を用いて、機械学習システムにおける実装エラーを体系的に検出し、排除できるか？
• RQ2 形式的検証は、確率的で非凸的かつ数値的に不安定な機械学習システムに対し、どの程度適用可能か？
• RQ3 形式的検証済みの機械学習システムは、TensorFlowのような産業用システムと同等のパフォーマンスを達成できるか？
• RQ4 形式的検証の使用は、システムの正しさに関する認知的負荷をどの程度軽減し、信頼性を向上させるか？
• RQ5 機械学習開発に形式的検証を統合する際の実用的トレードオフと段階的導入戦略は何か？

主な発見

• Certigradは、バイアスのない勾配を計算することを形式的に証明しており、すべての実装エラーが証明プロセス中に露呈され、修正された。
• 形式的証明は機械で検証可能であり、証明の論理が人手で検証される必要がなかった。
• Certigradは、MNIST用のAEVBモデルにおいて、TensorFlowと同等の学習パフォーマンスを示し、1エポックあたり7%の訓練時間の増加にとどまった。
• この手法により、バグの早期検出が可能となり、最終的な証明が完了する前にすべてのエラーが解決された。
• このアプローチにより、開発者の認知的負荷が軽減され、正しさの責任が人間から証明アシスタントに移った。
• 部分的な形式的検証（例：Eigenのような外部ライブラリを公理化すること）ですら、信頼性の向上とエラー検出の恩恵をもたらした。