[論文レビュー] Probabilistic Software Modeling: A Data-driven Paradigm for Software Analysis

Hannes Thaller, Lukas Linsbauer+2 more|arXiv (Cornell University)|Dec 17, 2019

Software Testing and Debugging Techniques参考文献 58被引用数 4

ひとこと要約

本稿では、静的および動的解析を用いて従来のソフトウェアを分析し、プログラム動作のシミュレーションおよび定量的評価が可能な確率的モデルを合成するデータ駆動型パラダイム、確率的ソフトウェアモデリング（PSM）を紹介する。主な貢献は、テストケース生成、異常検出、因果推論などの予測的・生成的ソフトウェア工学応用を可能にするスケーラブルで再利用可能なフレームワークを提供することであり、強固な実証的結果が複数の実世界プロジェクトで得られている。

ABSTRACT

Software systems are complex, and behavioral comprehension with the increasing amount of AI components challenges traditional testing and maintenance strategies.The lack of tools and methodologies for behavioral software comprehension leaves developers to testing and debugging that work in the boundaries of known scenarios. We present Probabilistic Software Modeling (PSM), a data-driven modeling paradigm for predictive and generative methods in software engineering. PSM analyzes a program and synthesizes a network of probabilistic models that can simulate and quantify the original program's behavior. The approach extracts the type, executable, and property structure of a program and copies its topology. Each model is then optimized towards the observed runtime leading to a network that reflects the system's structure and behavior. The resulting network allows for the full spectrum of statistical inferential analysis with which rich predictive and generative applications can be built. Applications range from the visualization of states, inferential queries, test case generation, and anomaly detection up to the stochastic execution of the modeled system. In this work, we present the modeling methodologies, an empirical study of the runtime behavior of software systems, and a comprehensive study on PSM modeled systems. Results indicate that PSM is a solid foundation for structural and behavioral software comprehension applications.

研究の動機と目的

• 複雑なソフトウェアシステムにおける動作理解の課題が増大する中、特にAIコンponentの統合が進む中でこれを解決すること。
• プログラミング言語や開発ワークフローの変更なしに、予測的・生成的ソフトウェア工学応用を可能にする手法の開発。
• 従来のソフトウェア工学と確率的モデリングの間のギャップを、既存のコードベースから統計モデルを合成することで埋めること。
• 確率的モデルが実世界のソフトウェアシステムの構造的および動作的意味をどれだけ的確に捉えられるかを評価すること。

提案手法

• 制御構造や文を抽象化しながら、型、メソッド、フィールド、プロパティに焦点を当てた静的コード解析により、プログラム構造を抽出する。
• 実行時の動作を、実行中に発生するプロパティアクセスやメソッド呼び出しの観測によって収集する。
• 静的構造と観測された実行時データを組み合わせて確率的モデルのネットワークを構築し、過学習を回避するため低容量のモデルを用いる。
• 尤度に基づく学習を用いてモデルを最適化し、離散変数には条件付き確率表（CPD）、連続変数には正規化フローを用いる。
• サンプリング、条件付き処理、尤度評価を通じた統計的推論を可能にし、テストケース生成や異常検出などの応用を支援する。
• 実世界のJavaプロジェクトでの実装と評価を目的としたプロトタイプツール「Gradient」を用いる。

実験結果

リサーチクエスチョン

• RQ1 静的および動的解析を用いて、従来のオブジェクト指向ソフトウェアから確率的モデルを効果的に合成できるか？
• RQ2 これらのモデルは、実際のソフトウェアシステムの動作特性をどれだけ正確にシミュレートおよび定量的に表現できるか？
• RQ3 サイズやアーキテクチャが異なる複数のソフトウェアプロジェクトにわたって、モデルの一般化性能はどの程度高いか？
• RQ4 テストケース生成や異常検出のような実用的ソフトウェア工学応用を、これらのモデルがサポートできるか？
• RQ5 複雑または非常に動的なコード構造を扱う際の、このアプローチの限界は何か？

主な発見

• 実証的評価では、PSMモデルが多様なプロジェクトにわたり低く一貫した負の対数尤度（NLL）を達成しており、良好なモデル適合性と一般化性能を示している。
• 大多数のモデルが低次元性を示しており、過学習を避けるために低容量モデルを用いることが可能であることが裏付けられており、訓練用とテスト用のNLL値に顕著な差がない。
• 定性的な検査では、高品質なモデル近似が得られているが、最適でないモデル容量のため、質量漏れやモードの接続性の問題が生じる場合がある。
• 推論パイプラインは多次元情報伝達と因果的推論を効果的にサポートしており、モデル間で一貫した生成と条件付けが可能である。
• このアプローチはAIコンponentと自然に統合可能であり、従来型およびAI強化型ソフトウェアシステムの統合的分析を可能にする。
• プロトタイプ実装により、PSMモデルが繰り返し可能で、永続的かつ共有可能であり、定量的評価が可能であることが示された。これは、将来的な応用の基盤として十分な基盤を形成している。