[論文レビュー] Adversarial Training for High-Stakes Reliability

Daniel M. Ziegler, Seraphina Nix+10 more|arXiv (Cornell University)|May 3, 2022

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

この論文は、人間が介入する攻撃を用いた adversarial training を提案し、言語モデルにおける深刻なリスクを伴う文の続きの生成に対する耐性を向上させることを目的としている。具体的には、有害なテキストの続きの生成をフィルタリングする。ツール支援の人的攻撃者を用いることで、耐性が向上した—アドバーシャル例の生成にかかる時間が、ツールを使用した場合13分から26分へ、使用しない場合20分から44分へと倍増した。一方で、分布内性能は維持され、品質の損失を最小限に抑えつつ、保守的な分類器のしきい値を設定可能となった。

ABSTRACT

In the future, powerful AI systems may be deployed in high-stakes settings, where a single failure could be catastrophic. One technique for improving AI safety in high-stakes settings is adversarial training, which uses an adversary to generate examples to train on in order to achieve better worst-case performance. In this work, we used a safe language generation task (``avoid injuries'') as a testbed for achieving high reliability through adversarial training. We created a series of adversarial training techniques -- including a tool that assists human adversaries -- to find and eliminate failures in a classifier that filters text completions suggested by a generator. In our task, we determined that we can set very conservative classifier thresholds without significantly impacting the quality of the filtered outputs. We found that adversarial training increased robustness to the adversarial attacks that we trained on -- doubling the time for our contractors to find adversarial examples both with our tool (from 13 to 26 minutes) and without (from 20 to 44 minutes) -- without affecting in-distribution performance. We hope to see further work in the high-stakes reliability setting, including more powerful tools for enhancing human adversaries and better ways to measure high levels of reliability, until we can confidently rule out the possibility of catastrophic deployment-time failures of powerful models.

研究の動機と目的

• たとえ1回の失敗であっても許されない高リスクなAI導入における破綻的失敗の課題に対処すること。
• 言語モデルにおける最悪事態の信頼性を向上させる手法として adversarial training の有効性を評価すること。
• より効果的なアドバーシャル例の発見を促進するため、ツール支援の人的攻撃者を開発・評価すること。
• 非攻撃的出力の品質に著しい影響を与えることなく、保守的な分類器のしきい値を適用できるかどうかを検討すること。
• 実世界のAIシステムにおける高リスクな信頼性の測定および向上に実用的な手法を探索すること。

提案手法

• 物語継続タスクにおいて、有害なテキストの続きを検出する分類器を訓練した。
• アドバーシャル例は3つの方法で生成された：元の人の攻撃、過去のアドバーシャル例の言い換え、ツール支援の人の再書き直し。
• 反復的なループで、3つの攻撃タイプからのアドバーシャル例を用いて分類器を再訓練し、耐性を向上させた。
• より効果的なアドバーシャル例を生成するために、人間の攻撃者を支援するための新規ツールを開発した。
• 最悪事態の安全性を最優先するために、保守的な分類器のしきい値を設定し、分布内データでの性能を監視した。
• 耐性は、訓練前後における契約者によるアドバーシャル例の生成に要する時間を測定することで評価した。

実験結果

リサーチクエスチョン

• RQ1 人間が介入する攻撃を用いた adversarial training は、有害なテキストの続きに対する分類器の耐性を顕著に向上させることができるか？
• RQ2 非攻撃的出力の品質に著しい悪影響を与えることなく、保守的な分類器のしきい値をどの程度適用できるか？
• RQ3 支援ツールを用いた人的攻撃者は、支援なしの人間よりも、より多様で効果的なアドバーシャル例を生成できるか？
• RQ4 adversarial training は、分布内性能を低下させることなく、最悪事態の信頼性を向上させることができるか？
• RQ5 adversarial training は、残存する失敗の深刻さと性質にどのような影響を与えるか？

主な発見

• adversarial training により耐性が向上し、ツール支援の攻撃手法を用いた場合、アドバーシャル例の生成にかかる時間が13分から26分へと倍増した。
• ツールを使用しない場合でも、アドバーシャル例の生成にかかる時間が20分から44分へと倍増したため、一般化された耐性の向上が示された。
• adversarial training 後でも、分類器の分布内性能は変化せず、標準的な例に対する劣化は認められなかった。
• adversarially trained モデルにおける残存する失敗は、より深刻さが低く、直接的な傷害の言及を含む可能性も低くなった。
• 保守的な分類器のしきい値を適用しても、生成器の出力品質に顕著な影響がなく、最悪事態の信頼性を高めることが可能となった。
• ツール支援の人的攻撃手法は、アドバーシャル例の多様性と難易度を高める点で効果的であり、訓練プロセスの質を向上させた。