[論文レビュー] Towards Trustworthy and Aligned Machine Learning: A Data-centric Survey with Causality Perspectives

Haoyang Liu, Maheep Chaudhary+1 more|arXiv (Cornell University)|Jul 31, 2023

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本調査では、信頼性のある機械学習の統合的枠組みを、データ中心的かつ因果関係に基づいたものとして提案する。この枠組みは、耐障害性、敵対的耐障害性、公平性、解釈可能性の分野を統一的に扱う。ペイルの因果関係階層に既存の手法をマッピングすることで、共通する手法的パターンを明らかにし、大規模事前学習モデルと原理的かつ整合的に統合可能となる。これにより、より信頼性が高く整合性のあるAIシステムの構築が可能になる。

ABSTRACT

The trustworthiness of machine learning has emerged as a critical topic in the field, encompassing various applications and research areas such as robustness, security, interpretability, and fairness. The last decade saw the development of numerous methods addressing these challenges. In this survey, we systematically review these advancements from a data-centric perspective, highlighting the shortcomings of traditional empirical risk minimization (ERM) training in handling challenges posed by the data. Interestingly, we observe a convergence of these methods, despite being developed independently across trustworthy machine learning subfields. Pearl's hierarchy of causality offers a unifying framework for these techniques. Accordingly, this survey presents the background of trustworthy machine learning development using a unified set of concepts, connects this language to Pearl's causal hierarchy, and finally discusses methods explicitly inspired by causality literature. We provide a unified language with mathematical vocabulary to link these methods across robustness, adversarial robustness, interpretability, and fairness, fostering a more cohesive understanding of the field. Further, we explore the trustworthiness of large pretrained models. After summarizing dominant techniques like fine-tuning, parameter-efficient fine-tuning, prompting, and reinforcement learning with human feedback, we draw connections between them and the standard ERM. This connection allows us to build upon the principled understanding of trustworthy methods, extending it to these new techniques in large pretrained models, paving the way for future methods. Existing methods under this perspective are also reviewed. Lastly, we offer a brief summary of the applications of these methods and discuss potential future aspects related to our survey. For more information, please visit http://trustai.one.

研究の動機と目的

• 信頼性のある機械学習手法の発展が断片的であるのを是正し、耐障害性、敵対的耐障害性、公平性、解釈可能性の分野に共通する統一的原則を同定すること。
• 信頼性の課題をモデルアーキテクチャの問題ではなく、データ構造の問題として再定式化し、誤った相関関係や交絡要因の役割を強調すること。
• ペイルの因果関係階層を統一的フレームワークとして用い、信頼性のある機械学習手法と因果理論の間の原理的つながりを確立すること。
• 標準的な経験的リスク最小化（ERM）と因果推論を結びつけることで、信頼性のある手法の適用範囲を大規模事前学習モデルに拡大すること。
• 耐障害性、公平性、解釈可能性、敵対的耐障害性という4つの信頼性特性を同時に達成できるモデルの構築の機会を同定すること。

提案手法

• 信頼性のある機械学習の課題をデータ中心の視点から再定式化し、分布シフト下でのモデル失敗の根本原因として、誤った特徴量、交絡要因、データセットバイアスを特定する。
• 耐障害性、敵対的耐障害性、公平性、解釈可能性分野の既存手法を、ペイルの因果関係の3段階階層（関連、介入、反事後的推論）にマッピングする。
• バックドア補正、do計算、処置効果といった因果推論ツールを用い、誤った相関関係を軽減し、モデルの一般化性能を向上させる。
• 反事後的データ生成と外生変数への介入を用いて、特に視覚言語タスクにおいてモデルの耐障害性と公平性を向上させる。
• プロンプトチューニング、パラメータ効率の良い微調整、RLHFといった現代的な大規模モデル技術と因果に基づく手法を統合し、大規模モデルの信頼性ある適応を可能にする。
• 因果理論に基づく数学的語彙を統一的に構築し、分散した信頼性のある機械学習手法を結びつけることで、ドメイン間移行と原理的設計を可能にする。

実験結果

リサーチクエスチョン

• RQ1 耐障害性、公平性、解釈可能性、敵対的耐障害性の分野における分散した信頼性のある機械学習手法を統合する枠組みをどのように確立できるか？
• RQ2 ペイルの因果関係階層の視点で分析した場合、既存の信頼性のある機械学習手法はどの程度一致するか？
• RQ3 因果に基づく手法を、大規模事前学習モデルの信頼性を向上させるために体系的に適用可能か？
• RQ4 信頼性のある機械学習における共通する手法的パターンは、モデルの信頼性に向けた普遍的でデータ中心のアプローチを示唆するか？
• RQ5 因果関係に配慮した技術は、耐障害性、公平性、解釈可能性、敵対的耐障害性という4つの信頼性特性を同時に達成するモデルの構築をどのように可能にするか？

主な発見

• データ中心的かつ因果関係に基づいた視点で分析すると、耐障害性、敵対的耐障害性、公平性、解釈可能性の分野における手法に一貫性が認められ、共通する根本的原則があることが示された。
• バックドア補正や反事後的生成といった因果推論手法が、視覚言語タスクにおける誤った相関関係を効果的に軽減し、モデルの耐障害性と公平性を向上させた。
• CRAFTデータセットは、反事後的および因果的質問を用いた学習が、より深い推論を可能にし、言語的ショートカットへの過剰依存を低減することの価値を示している。
• 介入に基づくデータ拡張と処置効果モデリングにより、画像および順序データタスクの両方で誤った特徴量への依存を低減し、モデルの一般化性能が向上した。
• プロンプトチューニング、パラメータ効率の良い微調整、RLHFを介した因果理論と大規模事前学習モデルの統合により、信頼性のある基盤モデルの構築に新たな道筋が開かれた。
• 本調査では、4つの信頼性特性を同時に最適化するモデルが現時点で存在しないという重要な研究ギャップを同定した。これは、将来的なモデル設計における有望な方向性を示唆している。