[論文レビュー] FactSheets: Increasing Trust in AI Services through Supplier's Declarations of Conformity

Matthew Arnold, Rachel Bellamy+11 more|arXiv (Cornell University)|Aug 22, 2018

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

本稿では、パフォーマンス、安全性、セキュリティ、出典、使用制約を明示するAIサービス向けの標準化された、サプライヤー発行の文書であるFactSheetsを提案する。他の産業分野におけるサプライヤーの適合宣言（SDoC）をモデルにしたFactSheetsは、構造的な透明性をもたらし、消費者が展開前に公平性、耐性、倫理的リスクを評価できるようにすることで信頼を高める。

ABSTRACT

Accuracy is an important concern for suppliers of artificial intelligence (AI) services, but considerations beyond accuracy, such as safety (which includes fairness and explainability), security, and provenance, are also critical elements to engender consumers' trust in a service. Many industries use transparent, standardized, but often not legally required documents called supplier's declarations of conformity (SDoCs) to describe the lineage of a product along with the safety and performance testing it has undergone. SDoCs may be considered multi-dimensional fact sheets that capture and quantify various aspects of the product and its development to make it worthy of consumers' trust. Inspired by this practice, we propose FactSheets to help increase trust in AI services. We envision such documents to contain purpose, performance, safety, security, and provenance information to be completed by AI service providers for examination by consumers. We suggest a comprehensive set of declaration items tailored to AI and provide examples for two fictitious AI services in the appendix of the paper.

研究の動機と目的

• 公平性、耐性、セキュリティなどのAIサービスの属性について、標準化され透明性のあるコミュニケーションが不足している問題に対処すること。
• AIサービスプロバイダーとコンsumer開発者との間の専門知識格差を、サービス特性の共通で構造化されたインターフェースによって縮小すること。
• 文書化されたメトリクスと使用シナリオを通じて、一般化の過剰や不適切な使用のリスクを消費者が評価できるようにすること。
• トレーニングデータの出典やデプロイメント制約を含めることで、責任の追及可能性と監査可能性を促進すること。
• 既存のデータカードやモデルカードを補完する、任意的でスケーラブルなAIサービスの透明性フレームワークを確立すること。

提案手法

• サプライヤーの適合宣言（SDoC）をモデルにした、AIサービス向けに適応したFactSheetテンプレートの設計。
• 目的、パフォーマンス、安全性（公平性、説明可能性、耐性）、セキュリティ（敵対的耐性）、出典（トレーニングデータおよびモデルのルート）をカバーする構造化されたセクションの定義。
• 各セクションに、パフォーマンスメトリクス、バイアステスト手順、データ保持ポリシーなどの標準化された宣言項目を含める。
• 実用的応用と完全性を示すために、2つの架空のAIサービスの例によるFactSheetの提供。
• 将来的な段階で第三者による検証を想定しつつ、プロバイダーによる自己宣言を強調する。
• パフォーマンスのずれやデータ分布の変化を監視するフィードバックメカニズムとモニタリングを統合する。

実験結果

リサーチクエスチョン

• RQ1 AIサービスプロバイダーは、どのようにして消費者に対して、サービスの安全性、パフォーマンス、セキュリティ特性を体系的かつ一貫して伝えられるか？
• RQ2 第三者認証に依存せずに、AIサービスの透明性と信頼を高めるために、どのような構造的で標準化されたフォーマットが必要か？
• RQ3 FactSheetsは、AI開発者とAIサービスを利用するアプリケーション開発者との間の専門知識格差をどのように是正できるか？
• RQ4 文書化された使用制約とテストシナリオを通じて、FactSheetsはAIサービスの誤用や一般化の過剰をどのように防止できるか？
• RQ5 ラインレージ、データの出典、モデルトレーニングの詳細は、AIサービスの監査可能性と責任の追及にどのように寄与するか？

主な発見

• FactSheetsは、目的、パフォーマンス、安全性、セキュリティ、出典をカバーする包括的かつ多次元の文書化フレームワークを提供する。
• 提案されたFactSheetには、公平性、説明可能性、敵対的耐性の一貫した評価を可能にする標準化された宣言項目が含まれる。
• パフォーマンスメトリクスは時間経過で追跡され、分布の変化やモデル劣化の検出が可能になる。
• セキュリティ対策には、データ暗号化、アクセス制御、悪意のあるフィードバックをフィルタリングするメカニズムが含まれ、14日間のデータ保持ポリシーが適用される。
• ハラスメントやポルノグラフィーなどの倫理的に敏感なトピックについては、サブスクリプションをブロックする手順が含まれる。
• FactSheetsはプロバイダーによる自己宣言を想定しており、将来的には第三者による検証が可能となる。任意的だがスケーラブルであることが意図されている。