[論文レビュー] The Fifth International Verification of Neural Networks Competition (VNN-COMP 2024): Summary and Results

Christopher Brix, Stanley Bak+2 more|arXiv (Cornell University)|Jan 1, 2024

Neural Networks and Applications被引用数 7

ひとこと要約

本論文は、2024年5回目の国際的ニューラルネットワーク検証コンペティション（VNN-COMP 2024）を提示する。このコンペティションでは、ONNX形式によるネットワークとVNN-LIB形式による仕様を用いて、20の標準化ベンチマーク（12の通常型と8の拡張型）を対象に8つのツールを評価した。コンペティションは、AWSベースのコスト同等のハードウェアと自動化パイプラインを採用し、結果としてVit 2023とYolo 2023が、高い効率性と耐障害性を兼ね備えた主要なベンチマークで100％のスコアを達成した。

ABSTRACT

This report summarizes the 5th International Verification of Neural Networks Competition (VNN-COMP 2024), held as a part of the 7th International Symposium on AI Verification (SAIV), that was collocated with the 36th International Conference on Computer-Aided Verification (CAV). VNN-COMP is held annually to facilitate the fair and objective comparison of state-of-the-art neural network verification tools, encourage the standardization of tool interfaces, and bring together the neural network verification community. To this end, standardized formats for networks (ONNX) and specification (VNN-LIB) were defined, tools were evaluated on equal-cost hardware (using an automatic evaluation pipeline based on AWS instances), and tool parameters were chosen by the participants before the final test sets were made public. In the 2024 iteration, 8 teams participated on a diverse set of 12 regular and 8 extended benchmarks. This report summarizes the rules, benchmarks, participating tools, results, and lessons learned from this iteration of this competition.

研究の動機と目的

• 最先端のニューラルネットワーク検証ツールの公平で標準的かつ自動化された比較を可能にする。
• 標準フォーマット（ONNX、VNN-LIB）と評価インfraを用いて、ツールの相互運用性とコミュニティ全体での採用を促進する。
• 画像分類、耐障害性、安全に重要なプロパティをカバーする、現実世界の多様なベンチマークを用いてツールを評価する。
• コスト同等のAWSハードウェアと自動化評価パイプラインを用いることで、再現性と公平性を確保する。
• 大規模なベンチマークと結果分析を通じて、現在の検証ツールの強み・弱み・トレンドを特定する。

提案手法

• 一貫した入力表現を実現するため、ONNXフォーマットによる標準化されたニューラルネットワークモデルと、VNN-LIBフォーマットによる仕様を定義する。
• CPU/GPUのトレードオフを設定可能なAWSインスタンスを用いた均一な評価パイプラインを設計し、全参加者に対してコスト同等のハードウェアを保証する。
• GitHubベースのイシュー管理とスクリプトベースのツール実行を用いて、自動化された提出およびテストワークフローを実装する。
• 各ツールに対して必須のインストール、設定、実行スクリプトを含む一貫したツールインターフェースを強制する。
• 正しく証明された場合または反例が得られた場合に10点、誤った結果の場合は-150点のペナルティ、タイムアウトまたはエラーの場合は0点というスコアシステムを適用する。
• 全実行時間からツール固有の起動オーバーヘッドを測定・差し引くことで、パフォーマンス比較の公平性を確保する。

実験結果

リサーチクエスチョン

• RQ1 正しくかつ効率的に、多様で現実世界のベンチマークにおいて、現在のニューラルネットワーク検証ツールはどの程度の性能を示すか？
• RQ2 標準フォーマット（ONNX、VNN-LIB）と自動化評価パイプラインは、ツール比較における再現性と公平性をどの程度向上させるか？
• RQ3 複雑で安全に重要なニューラルネットワークプロパティにおいて、どの検証ツールが最も耐障害性とスケーラビリティを示すか？
• RQ4 CPUとGPUの異なるハードウェア構成は、ツールごとの検証パフォーマンスにどの程度の影響を及ぼすか？
• RQ5 ツールの相互運用性、仕様の解釈、反例検証における主な課題は何か？

主な発見

• Vit 2023は通常トラックで100％のベンチマークスコアを達成し、12のベンチマークすべてを高い効率性と耐障害性で正しく検証した。
• Yolo 2023は拡張トラックで優れたパフォーマンスを示し、20件中16件で100％の正答率を達成し、平均検証時間は10秒未満であった。
• PyRATは小さなベンチマークでは高い正確性を示したが、大規模なネットワークでは問題を抱え、複数のタイムアウトと出力欠落が発生した。
• 12％のケースで反例出力の不一致が観察され、有効性を保証するため、onnxruntimeによるインフェレンスを用いて再評価を行った。
• 自動化評価パイプラインは、20のベンチマークにわたる100件以上のインスタンスを一貫した結果で処理し、人的介入を最小限に抑えた。
• Vit 2023は、検証済みインスタンスで平均15.5秒という最速の実行時間を達成し、拡張トラックの他のツールを大きく上回った。