[論文レビュー] Silas: High Performance, Explainable and Verifiable Machine Learning

Hadrien Bride, Zhé Hóu+3 more|arXiv (Cornell University)|Oct 3, 2019

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 5

ひとこと要約

Silas は、論理言語で形式化されたアンサンブル意思決定木に基づく、高パフォーマンスで説明可能かつ検証可能な機械学習システムである。H2O や Ranger よりも 3.6 倍速く、5 倍少ないメモリ使用量で最先端の性能を達成し、形式的検証、正しさを保証する学習、およびモデル・予測レベルの説明を提供する。

ABSTRACT

This paper introduces a new classification tool named Silas, which is built to provide a more transparent and dependable data analytics service. A focus of Silas is on providing a formal foundation of decision trees in order to support logical analysis and verification of learned prediction models. This paper describes the distinct features of Silas: The Model Audit module formally verifies the prediction model against user specifications, the Enforcement Learning module trains prediction models that are guaranteed correct, the Model Insight and Prediction Insight modules reason about the prediction model and explain the decision-making of predictions. We also discuss implementation details ranging from programming paradigm to memory management that help achieve high-performance computation.

研究の動機と目的

• 重要な分野におけるブラックボックス機械学習の限界を克服し、透明性があり信頼性が高く形式的検証可能な分類システムを構築すること。
• 予測性能と解釈可能性のギャップを埋めるために、論理ベースの言語でアンサンブル意思決定木を形式化し、自動推論を可能にすること。
• ユーザーの仕様に対して形式的検証を実施し、正しさを保証する学習と高リスク分野での安全性を確保すること。
• ユーザーの信頼とモデルの監査可能性を高めるために、グローバルなモデルの洞察とインスタンスレベルの予測説明を提供すること。
• データ指向で純粋関数型の C++ 実装を採用し、最適化されたメモリ管理と並列処理を実現することで、高い計算効率を達成すること。

提案手法

• Silas は、意思決定木を論理的言語で形式化することで、予測モデルの自動推論と形式的検証を可能にしている。
• C++ において純粋関数型プログラミングパラダイムを採用し、Curiously Recurring Template Pattern (CRTP) を用いて、副作用のない関数合成とスレッドセーフティを実現している。
• データ指向設計を採用することで、データの局所性を最大化し、キャッシュ効率を向上させ、安全なベクトル化並列処理を可能にしている。
• 列指向のメモリ内ストレージを採用することで、大規模な表形式データにおけるメモリフットプリントを削減し、パフォーマンスを向上させている。
• モデル監査モジュールは、自動定理証明を用いて、ユーザー指定の論理的制約に対してモデルの振る舞いを形式的検証している。
• 強制学習モジュールは、ユーザーの仕様をトレーニングプロセスに直接統合することで、正しさを保証する学習モデルを生成している。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル意思決定木を論理言語で形式化することで、自動検証と推論を可能にできるか？
• RQ2 形式的検証と解釈可能性を備えたシステムにおいて、どのように高パフォーマンスな機械学習を達成できるか？
• RQ3 関数型でデータ指向の C++ 実装が、既存のツールに比べて、速度とメモリ効率でどの程度優れているか？
• RQ4 形式的検証と解釈可能性を生産環境用の機械学習システムに統合しても、予測精度を損なわないか？
• RQ5 メモリレイアウトやプログラミングパララダイムの選択が、機械学習システムのパフォーマンスと正しさにどのように影響するか？

主な発見

• 2回目のリビジョンでは、1000万件のフライトデータセットで H2O より 3.6 倍速く、Ranger より 6.1 倍速く、大幅にメモリ使用量が削減された。
• 大規模データセットでは、Ranger より 5 倍、H2O より 3 倍のメモリ使用量で、1000万件のフライトデータセットでピークメモリ使用量がわずか 4.3GB に抑えられた。
• 2回目のリビジョンは、1000万件のフライトデータセットで AUC-ROC 0.793 を達成し、最先端のツールと同等の予測性能を維持している。
• オブジェクト指向から純粋関数型・データ指向設計に移行することで、レガシーバージョンと比較してメモリ使用量が 80% 減少し、すべてのベンチマークでパフォーマンスが向上した。
• モデル監査モジュールによる形式的検証により、大規模な予測モデルに対して強い正しさ保証が可能となり、通常のブラックボックスシステムでは実現できない。
• 予測インサイトモジュールは、顕著な入力特徴を特定・関連付けることで、個々の予測を効果的に説明し、透明性を高めている。