[論文レビュー] Smoke Testing for Machine Learning: Simple Tests to Discover Severe Defects

Steffen Herbold, Tobias von der Haar|arXiv (Cornell University)|Sep 3, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 4

ひとこと要約

本論文は、入力およびハイパーパrameterに対する同値クラス分析および境界値分析を用いて、機械学習ライブラリ向けの軽量で汎用的なスモーキングテスト手法を提案する。単純な教科書ベースのテスト技法が、3つの成熟したMLライブラリにおいて、以前未知の深刻なバグを合計11件発見したことを示しており、そのうち2件は深刻度が重大であった。これは、基本的なテスト手法が現代のMLシステムに対しても効果的で、柔軟に適用可能であることを証明している。

ABSTRACT

Machine learning is nowadays a standard technique for data analysis within software applications. Software engineers need quality assurance techniques that are suitable for these new kinds of systems. Within this article, we discuss the question whether standard software testing techniques that have been part of textbooks since decades are also useful for the testing of machine learning software. Concretely, we try to determine generic and simple smoke tests that can be used to assert that basic functions can be executed without crashing. We found that we can derive such tests using techniques similar to equivalence classes and boundary value analysis. Moreover, we found that these concepts can also be applied to hyperparameters, to further improve the quality of the smoke tests. Even though our approach is almost trivial, we were able to find bugs in all three machine learning libraries that we tested and severe bugs in two of the three libraries. This demonstrates that common software testing techniques are still valid in the age of machine learning and that considerations how they can be adapted to this new context can help to find and prevent severe bugs, even in mature machine learning libraries.

研究の動機と目的

• 伝統的なソフトウェアテスト技法が現代の機械学習システムに対しても有効であるかどうかを調査すること。
• 複雑なテストオラクルを必要とせず、MLライブラリに深刻な欠陥を検出可能な汎用的でシンプルなスモーキングテストを特定すること。
• 入力およびハイパーパrameterに同値クラス分析と境界値分析を適応し、より広範なテストカバレッジを実現すること。
• ハイパーパrameterの組み合わせテスト戦略の有効性を評価し、スケーラブルかつ効果的なスモーキングテストを実現すること。
• MLライブラリ開発者が、深刻な欠陥を早期に防止・検出できるようにする実用的なベストプラクティスを確立すること。

提案手法

• 極端な値、ゼロ特徴量、空またはほぼ空のクラスなどの問題領域を特定するため、同値クラス分析を適用する。
• ハイパーパrameterに対しても分析を拡張し、それらをテスト条件としてモデル化し、境界値および同値クラス手法を適用する。
• 他のハイパーパrameterをデフォルト値に保ちながら、各ハイパーパrameterの同値クラスを一度ずつカバーする線形計算量の組み合わせテスト戦略を採用する。
• モデルの学習および予測といったコアなML関数を対象とする、最小限で再利用可能なスモーキングテストスイートを設計する。
• 提案されたテストスイートを、3つの成熟したMLライブラリ（scikit-learn、Weka、SparkML）に適用し、実世界のバグを発見する。
• すべての発見結果を報告することで、問題の深刻さと再現可能性を検証し、透明性を確保する。

実験結果

リサーチクエスチョン

• RQ1 同値クラス分析や境界値分析といった古典的ソフトウェアテスト技法を、機械学習システムに効果的に適応できるか？
• RQ2 MLライブラリの効果的なスモーキングテストとして機能する最小限で汎用的な入力およびハイパーパramータ設定は何か？
• RQ3 ハイパーパramータの組み合わせテストを、スケーラブルに保ちつつ、重要な構成のカバレッジを確保するにはどうすればよいか？
• RQ4 このようなシンプルなテストが、成熟したMLライブラリにおいて深刻でかつ以前未知のバグをどの程度検出できるか？
• RQ5 開発者がこれらのテストをMLライブラリ開発ワークフローに統合するためのベストプラクティスは何か？

主な発見

• 著者らは、3つの成熟した機械学習ライブラリにおいて、合計11件の以前未知のバグを発見した。そのうち2件は深刻度が重大と分類された。
• 3つのライブラリすべてが、提案されたスモーキングテストの少なくとも1つに失敗しており、コア機能に広範な問題が存在することが示された。
• テストケース数が線形に増加する組み合わせテスト戦略により、単純なテストや1パラメータずつのテストでは見逃されたバグが効果的に特定された。
• 提案されたスモーキングテストスイートは、エッジケースの入力下で学習および予測関数におけるクラッシュや誤った挙動を正常に検出できた。
• このアプローチは一般化可能で、成熟したシステムに対しても有効であるため、初期段階のML開発において特に有益であると考えられる。
• 報告されたすべてのバグは開発者によって承認され、3件はすでに修正済みで、残りの多くはパッチ統合を待っている状態である。