[論文レビュー] Editing a classifier by rewriting its prediction rules

Shibani Santurkar, Dimitris Tsipras+4 more|arXiv (Cornell University)|Dec 2, 2021

Data Stream Mining Techniques被引用数 4

ひとこと要約

この論文では、分類器の予測ルールを、隠れ層内の特徴表現を再書き換えることで直接編集する手法を導入し、追加のデータ収集を伴わずに動作の変更を可能にする。このアプローチは、雪景色の誤分類や敵対的タイプグラフィック攻撃といった、誤った相関関係に起因するモデルの失敗を、単一の合成例を用いることで是正し、ファインチューニングを上回る堅牢性と一般化性能を実現する。

ABSTRACT

We present a methodology for modifying the behavior of a classifier by directly rewriting its prediction rules. Our approach requires virtually no additional data collection and can be applied to a variety of settings, including adapting a model to new environments, and modifying it to ignore spurious features. Our code is available at https://github.com/MadryLab/EditingClassifiers .

研究の動機と目的

• 偏ったトレーニングデータから、信頼性が低く文脈依存的な予測ルールを学習する分類器の問題に対処すること。
• コストの高いデータ収集を回避するため、トレーニング後のモデル動作を直接かつデータ効率的に変更する手法を開発すること。
• 環境要因の変化や敵対的摂動によって引き起こされる誤りの特定的是正を可能にすること。
• 特定の概念の潜在表現を操作することで、分類器の編集にスケーラブルなツールキットを提供すること。
• ドメインシフトや敵対的攻撃を含む実世界のシナリオにおける手法の有効性を実証すること。

提案手法

• 特定の層において、ターゲット概念（例：「雪」）の表現をリファレンス概念（例：「アスファルトの道路」）の表現に一致させるように、分類器の重み行列を変更する。
• 単一の合成例を用いて、層の重みに対するランク1更新を計算し、他の表現への干渉を最小限に抑える。
• 編集プロセスはセグメンテーションマスクを用いて制約され、ターゲット概念を含まない領域の元のマッピングを保持することで、一般化性能を向上させる。
• 事前学習済みのインスタンスセグメンテーションモデル（例：MS-COCO や LVIS）を用いて概念を特定し、高レベルの特徴の自動発見を可能にする。
• スタイル変換とセグメンテーションを組み合わせた概念変換パイプラインを活用し、評価用の多様な反事実的画像をスケーラブルに生成する。
• この手法は、ビジョンモデル（例：VGG16、ResNet）およびゼロショットモデル（例：CLIP）の両方へ適用可能であり、広範な適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータの収集を伴わず、内部表現を直接再書き換えることで、分類器の予測ルールを変更できるか？
• RQ2 環境要因（例：雪）による変化によって引き起こされる誤った相関関係に起因するモデルの失敗に対して、この手法はどの程度効果的か？
• RQ3 この手法は、トレーニング分布外の未観測例や新しい概念へどの程度一般化可能か？
• RQ4 概念レベルの変換によって引き起こされるモデル誤りの是正において、標準的なファインチューニングと比較して、この手法はどのように優れているか？
• RQ5 同じ編集フレームワークを用いて、学習済みモデルにおける誤った予測ルールを同定・探査することが可能か？

主な発見

• この手法は、『道路』を『雪』に置き換えるような概念レベルの変換によって引き起こされるモデルの失敗の大部分を是正でき、標準的なファインチューニングよりも優れた性能を示す。
• 更新プロセス中にマスクを用いることで、非ターゲット領域の元の表現を保持でき、より良い性能が得られる。これは正則化効果を示唆している。
• ImageNet および Places365 の分類器において、概念変換によって引き起こされる精度低下を低減した。特に、VGG16 では『三本指スロウスロー』の分類精度が『木』を変更することで最大30%低下するが、この手法により効果的に是正された。
• CLIP に対しては、物理的なステッカーに印刷されたテキスト「iPod」を無視するようにモデルを編集することで、『タイプグラフィック攻撃』に対する防御に成功し、堅牢性を回復させた。
• 概念変換パイプラインにより、反事実的画像のスケーラブルな生成が可能となり、モデルが特定の概念に依存していることや、誤った相関関係が露呈された。
• モデルは素材ベースの変換（例：『木製』、『金属』）よりも、テクスチャベースの変換（例：『グラフィティ』、『秋の色』）に対して高い感受性を示すが、この手法はそれらの誤りを効果的に是正できた。