[論文レビュー] AI Assessment in Practice: Implementing a Certification Scheme for AI Trustworthiness (Academic Track)

Frischknecht-Gruber, Carmen, Denzel, Philipp+7 more|arXiv (Cornell University)|Jan 14, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本論文では、Hydraを用いた構成管理とHypothesisによるプロパティベースのテストを活用し、信頼性を確保する、構成可能で再現可能かつ堅牢な機械学習ワークフローを実現する2つのオープンソースソフトウェアライブラリ—hydra-zenとrAI-toolbox—を紹介する。これらのツールは、スケーラブルな敵対的ロバストネス評価と、最小限のコードオーバーヘッドで説明可能なAIの実装を実現する。

ABSTRACT

Responsible Artificial Intelligence (AI) - the practice of developing, evaluating, and maintaining accurate AI systems that also exhibit essential properties such as robustness and explainability - represents a multifaceted challenge that often stretches standard machine learning tooling, frameworks, and testing methods beyond their limits. In this paper, we present two new software libraries - hydra-zen and the rAI-toolbox - that address critical needs for responsible AI engineering. hydra-zen dramatically simplifies the process of making complex AI applications configurable, and their behaviors reproducible. The rAI-toolbox is designed to enable methods for evaluating and enhancing the robustness of AI-models in a way that is scalable and that composes naturally with other popular ML frameworks. We describe the design principles and methodologies that make these tools effective, including the use of property-based testing to bolster the reliability of the tools themselves. Finally, we demonstrate the composability and flexibility of the tools by showing how various use cases from adversarial robustness and explainable AI can be concisely implemented with familiar APIs.

研究の動機と目的

• 標準的なMLツールキットを超えて、堅牢性、説明可能性、再現可能性を備えた責任あるAIシステムの構築における増大する課題に対処すること。
• Python中心のHydra統合ワークフローにより、複雑なAIアプリケーションにおける技術的負債を低減し、構成管理を簡素化すること。
• 先進的なML技術を第一級のサポートで備えた、スケーラブルで合成可能なモデルのロバストネスおよび説明可能性の評価を可能にすること。
• Hypothesisを用いたプロパティベースのテストにより、多様な入力空間において正しさを保証する、ツールの信頼性を向上させること。

提案手法

• hydra-zenは、Pythonネイティブな構成ビルダー（例：`builds`、`make_config`）を用いて、自動的にYAMLベースの構成を生成・検証する。
• rAI-toolboxは、敵対的訓練、ロバストネス評価、説明可能性技術のためのモジュラでPyTorch互換のコンポーネントを提供し、合成可能なAPIを備える。
• 両ライブラリは、Hypothesisライブラリを介したプロパティベースのテストを用い、多様なテスト入力を自動生成し、同値性などの関数的不変条件を検証する。
• `multirun`サポート付きの`launch`を介して実験を実行し、モデルタイプやハイパーパramータ（例：敵対的ε値）をスイープする。
• PyTorch Lightningおよびデータ並列学習（例：DDP）と統合され、GPU間での分散実行が可能である。
• ロバストネス曲線は、摂動の大きさ（ϵ）を段階的に増加させながらモデルを評価することで生成され、保存された構成によりログと再現性が保証される。

実験結果

リサーチクエスチョン

• RQ1 複雑で階層的なMLワークフローにおいて、AIシステムをどのようにしてより構成可能で再現可能にすることができるか？
• RQ2 プロパティベースのテストは、AI評価ツールの信頼性をどの程度向上させることができるか？
• RQ3 ロバストネスおよび説明可能性技術を、PyTorchのような主流のMLフレームワークと自然に合成できるか？
• RQ4 構成管理は、大規模なAI開発における技術的負債をどのように低減できるか？
• RQ5 スケーラブルで合成可能なツールキットの影響は、責任あるAI実践の実用的採用にどのような影響を与えるか？

主な発見

• hydra-zenライブラリは、Python中心で型安全な構成生成を可能にし、複雑なAIシステムの完全な構成と再現性を実現する。これにより、手動でのYAMLメンテナンスと技術的負債が削減される。
• rAI-toolboxは、馴染み深いPyTorch APIを用いて、敵対的ロバストネスおよび説明可能なAI技術の実装を簡潔に可能にし、ボイラープレートを最小限に抑える。
• Hypothesisを用いたプロパティベースのテストにより、関数的不変条件（例：クリッピング操作の同値性）が成功裏に検証され、多様な入力に対してツールの信頼性が向上した。
• CIFAR-10における標準モデルとロバストモデルのロバストネス曲線が、5つのε値（0.0〜2.0）で生成され、摂動が増加するにつれて明確な性能低下が確認された。
• フレームワークはPyTorch DDPを介して分散学習をサポートし、モデルおよびハイパーパramータ構成のマルチランスイープを完全に再現可能に可能にした。
• これらのツールは、構成をYAML形式で保存することで、スケーラブルで合成可能で追跡可能なAIシステムの評価を可能にし、完全な再現性と監査可能性を実現した。