[論文レビュー] Responsible AI Pattern Catalogue: A Collection of Best Practices for AI Governance and Engineering

Qinghua Lu, Liming Zhu+4 more|arXiv (Cornell University)|Sep 12, 2022

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本論文は、マルチボカル・リーダーリング（MLR）から導出された、責任あるAIのパターンカタログを提示する。これは、ガバナンス、開発プロセス、AIシステム設計の分野において、実行可能でシステムレベルのパターンを提供する。本研究は、抽象的なAI倫理原則と実装の間のギャップを埋め、AIライフサイクル全体にわたって構造的かつ再利用可能なソリューションを提供する。

ABSTRACT

Responsible AI is widely considered as one of the greatest scientific challenges of our time and is key to increase the adoption of AI. Recently, a number of AI ethics principles frameworks have been published. However, without further guidance on best practices, practitioners are left with nothing much beyond truisms. Also, significant efforts have been placed at algorithm-level rather than system-level, mainly focusing on a subset of mathematics-amenable ethical principles, such as fairness. Nevertheless, ethical issues can arise at any step of the development lifecycle, cutting across many AI and non-AI components of systems beyond AI algorithms and models. To operationalize responsible AI from a system perspective, in this paper, we present a Responsible AI Pattern Catalogue based on the results of a Multivocal Literature Review (MLR). Rather than staying at the principle or algorithm level, we focus on patterns that AI system stakeholders can undertake in practice to ensure that the developed AI systems are responsible throughout the entire governance and engineering lifecycle. The Responsible AI Pattern Catalogue classifies the patterns into three groups: multi-level governance patterns, trustworthy process patterns, and responsible-AI-by-design product patterns. These patterns provide systematic and actionable guidance for stakeholders to implement responsible AI.

研究の動機と目的

• 高水準の倫理原則を超えた、実行可能なガイダンスの欠如に応えること。
• AI倫理原則と実際の工学的実装の間のギャップを、システムレベルで再利用可能なパターンに焦点を当てることで埋めること。
• ステークホルダーに、多層的ガバナンス、信頼性のある開発、責任ある設計に基づくAIシステムのための、構造的かつ証拠に基づいたパターンを提供すること。
• 非アルゴリズム的要因を含む、ソフトウェア開発ライフサイクル全体にわたり、責任あるAIを実装すること。
• AI実務者、エンジニア、ガバナンスチームが信頼性のあるAIを実装できる包括的かつ再利用可能な知識ベースを構築すること。

提案手法

• 学術文献、グレイ・リーダーリング、産業資料からパターンを収集するためのマルチボカル・リーダーリング（MLR）を実施した。
• 同定されたパターンを、多層的ガバナンスパターン、信頼性のあるプロセスパターン、責任あるAI設計に基づく製品パターンの3つのカテゴリーに分類した。
• 一貫性と使いやすさを確保するため、標準化されたパターン構造（文脈、問題、解決策、利点、欠点、関連パターン、既知の用途）を適用した。
• 包括的な文献カバレッジとバイアスの低減を図るため、システム的なキーワード検索とスノーボール法を用いた。
• 二重研究者によるスクリーニングと整合性チェックを実施し、内部妥当性を検証した。
• 実務者と研究者向けの動的知識ベースとして、公開可能なオンラインカタログを構築した。

実験結果

リサーチクエスチョン

• RQ1 AI開発ライフサイクル全体にわたり、責任あるAIを実装するために、再利用可能なシステムレベルのパターンは何か？
• RQ2 アルゴリズム的公平性やプライバシーを越えて、AI倫理原則を実行可能で実装可能な実践に翻訳する方法は何か？
• RQ3 システム工学の観点から、信頼性のあるAIを支える主要なガバナンス、プロセス、製品パターンは何か？
• RQ4 技術的でも非技術的でもあるステークホルダーがAIガバナンスと開発において効果的に活用できるように、パターンをどのように構造化すべきか？
• RQ5 現在のツールやガイダンスにおける責任あるAIのギャップは何か？そして、パターンベースのアプローチはそれらをどのように埋めることができるか？

主な発見

• 責任あるAIパターンカタログは、ガバナンス、プロセス、製品の3つのコアカテゴリーにわたり、100以上の再利用可能なパターンを同定・構造化した。
• 多くの既存のツールやフレームワークは、公平性、プライバシー、説明可能性といったモデルレベルの懸念に限定的に焦点を当てており、透明性、責任性、人間中心の価値の支援は限定的である。
• ガバナンスと開発プロセスにおけるシステムレベルのガイダンスに顕著なギャップが存在し、特に倫理的原則を具体的な工学的実践に結びつける支援が不足している。
• パターンカタログは、結果分析と既知の用途事例を強化する、構造的かつ証拠に基づいた知識ベースを提供している。
• 本研究は、多くのガイドラインが存在する一方で、それらがしばしば一時的で断片的、あるいは特定の側面（例：インタラクション設計やモデルレベルの倫理）に限定されていることから、包括的かつシステムレベルのアプローチの必要性が浮き彫りになった。
• カタログはオンラインで公開されており、質問バンクやAIリスク評価ソフトウェアなどに統合され、産業的検証が行われている。