[論文レビュー] Testing Monotonicity of Machine Learning Models

Arnab Sharma, Heike Wehrheim|arXiv (Cornell University)|Feb 27, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 4

ひとこと要約

本稿では、白ボックスの決定木近似を推論し、SMTソルブを用いて反例を体系的に生成することで、ブラックボックス機械学習モデルにおける単調性の検証ベースのテストを提案する。この手法は、適応的ランダムテストおよびプロパティベースのテストを上回り、90のモデルにおいて単調性違反の検出においてより高い効果と効率を示した。

ABSTRACT

Today, machine learning (ML) models are increasingly applied in decision making. This induces an urgent need for quality assurance of ML models with respect to (often domain-dependent) requirements. Monotonicity is one such requirement. It specifies a software as 'learned' by an ML algorithm to give an increasing prediction with the increase of some attribute values. While there exist multiple ML algorithms for ensuring monotonicity of the generated model, approaches for checking monotonicity, in particular of black-box models, are largely lacking. In this work, we propose verification-based testing of monotonicity, i.e., the formal computation of test inputs on a white-box model via verification technology, and the automatic inference of this approximating white-box model from the black-box model under test. On the white-box model, the space of test inputs can be systematically explored by a directed computation of test cases. The empirical evaluation on 90 black-box models shows verification-based testing can outperform adaptive random testing as well as property-based techniques with respect to effectiveness and efficiency.

研究の動機と目的

• ファイナンスやヘルスケアなどの分野で重要な要件であるブラックボックスMLモデルにおける単調性のための体系的でないテスト手法の欠如に対処する。
• 下位のMLアルゴリズムやアーキテクチャに依存しない、モデルに依存しない単調性検証を可能にする。
• ランダムまたはカバレッジ駆動のサンプリングに依存するのではなく、標的のテストケースを体系的に生成することで、テストの有効性を向上させる。
• 近似された白ボックスモデル上でSMT技術を用いて、形式的かつ検証可能な方法で単調性違反を検出する。
• 確認された反例を用いて白ボックスモデルを繰り返し精緻化することで、テストスイートのカバレッジと正確性を向上させる。

提案手法

• テスト対象のブラックボックスモデルの予測から得られる訓練データを用いて、白ボックスの決定木モデルを推論する。
• 決定木をSMT論理で表現可能な論理式に変換し、形式的検証を可能にする。
• SMTソルバを用いて、入力属性を増加させた際に出力予測が減少するかどうかをチェックすることで、単調性の潜在的反例を計算する。
• シンボリック実行に類似した戦略を用いて、検出された反例を体系的に変化させ、テストカバレッジを拡大し、隣接する入力領域を探索する。
• 確認された反例を元のブラックボックスモデルで検証する。有効な反例である場合、有効な単調性違反として保存する。
• 有効な反例が見つからない場合、確認済みのテストケースを含む新たなデータで白ボックスモデルを再訓練し、近似の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 検証ベースのテストは、ブラックボックスMLモデルにおける単調性違反の検出において、適応的ランダムテストおよびプロパティベースのテストを上回ることができるか？
• RQ2 推論された白ボックスの決定木は、複雑なブラックボックスモデルの単調性テストにおいて、どれほど良好に近似できるか？
• RQ3 反例の体系的な変化は、テストスイートのカバレッジと単調性障害の検出確率をどの程度向上させるか？
• RQ4 白ボックスモデルの繰り返し精緻化は、単調性テストの正確性と効率性にどのような影響を与えるか？
• RQ5 提案手法は、単調性に配慮した学習アルゴリズムと標準的なアルゴリズムで学習された多様なMLモデルに効果的に適用可能か？

主な発見

• 提案された検証ベースのテスト手法は、90のブラックボックスモデルにおいて、適応的ランダムテストおよびプロパティベースのテストを上回り、単調性違反の検出をより効果的に行った。
• より少ないテストケースで高い検出率を達成したため、単調性障害の特定における効率性が向上した。
• 反例の体系的な変化は、テストスイートのカバレッジを顕著に向上させ、隠れた違反の発見可能性を高めた。
• 白ボックスモデルの繰り返し再訓練により、近似の忠実度が向上し、偽陰性が減少し、検出正確性が向上した。
• 本手法は、単調性に配慮した学習アルゴリズムと標準的な学習アルゴリズムで学習された多様なモデルにおいて、強く優れた性能を示した。
• 推論された白ボックスモデル上でSMTソルブを用いることで、ヒューリスティック手法を上回る正確で形式的な単調性制約の検証が可能になった。