[論文レビュー] Tutorial: Safe and Reliable Machine Learning

Suchi Saria, Adarsh Subbaswamy|arXiv (Cornell University)|Apr 15, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用数 40

ひとこと要約

高リスク設定での機械学習の信頼性原則を概説するチュートリアルで、失敗の予防、失敗の識別と信頼性監視、そして保守に焦点を当て、公正性、透明性、解釈可能性との関連性を示します。

ABSTRACT

This document serves as a brief overview of the "Safe and Reliable Machine Learning" tutorial given at the 2019 ACM Conference on Fairness, Accountability, and Transparency (FAT* 2019). The talk slides can be found here: https://bit.ly/2Gfsukp, while a video of the talk is available here: https://youtu.be/FGLOCkC4KmE, and a complete list of references for the tutorial here: https://bit.ly/2GdLPme.

研究の動機と目的

• 高リスクな意思決定で使用される ML システムにおける信頼性の必要性を動機づける。
• 信頼性の核心原則を要約し、それらが公正性、透明性、解釈可能性とどのように関連するかを説明する。
• データ、モデル、レポーティング全体の信頼性を測定・確保する技術的アプローチを論じる。
• 信頼できる ML のデプロイにおける未解決問題と今後の方向性を示す。

提案手法

• 失敗の原因を bad data、environment shifts、model errors、そして reporting に分類する。
• DAGs と selection diagrams を用いた環境シフト分析による失敗を防ぐための予防的フレームワークを説明する。
• モデル保護のための敵対的トレーニングやロバスト性証明書などのロバストネス手法を議論する。
• 報告標準 (datasheets、model cards) および信頼性ドキュメンテーションの役割を強調する。
• 点ごとの信頼スコアや異常検出を含む、失敗識別と信頼性監視の方法を概説する。
• MLシステムにおける保守上の課題と技術的負債の概念に対処する。

実験結果

リサーチクエスチョン

• RQ1 実世界の環境にデプロイされた機械学習システムにおける主な故障源は何か？
• RQ2 環境シフト、敵対的入力、レポートのギャップに対して、信頼性原則をどのように運用可能化して ML システムを防止・検出・維持できるか？
• RQ3 環境シフトに対する能動的な不変性をサポートするフレームワーク（例：DAGs、selection diagrams）とは何か？
• RQ4 報告標準は、ロバスト性証明書やモデル検証などの信頼性の考慮をどのように組み込むべきか？

主な発見

• MLにおける信頼性は、三つの原則：失敗の予防、失敗の識別と信頼性監視、そして保守を軸に構築できる。
• 環境のシフトとデータセットのバイアスは、トレーニング条件の外でモデルの性能を低下させる可能性があり、予防的な一般化戦略を必要とする。
• モデル関連の問題には、誤った仮定や高次元入力への脆弱性が含まれ、堅牢なトレーニングと検証手法を促進する。
• 不十分な報告は悪用と不適合を招く可能性があるため、datasheets、model cards、および信頼性に焦点を当てたドキュメンテーションの採用を提案する。
• 点ごとの信頼性と信頼監査は、トレーニング後に信頼性の低い予測を排除するのに役立ち、分布外および局所適合の懸念に対処する。