[論文レビュー] Nuisances via Negativa: Adjusting for Spurious Correlations via Data Augmentation

Aahlad Puli, Nitish Joshi+3 more|arXiv (Cornell University)|Oct 4, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文では、明示的な雑音アノテーションを必要とせずに、データ拡張を用いた意味的破損を用いて機械学習モデルにおける誤った相関関係を特定・緩和する手法を提案する。グローバル、ローカル、周波数ベースの意味的特徴（例：パッチランダム化や強度フィルタリング）を破損させることで、誤った相関関係を避ける手法（例：NURD、JTT）が、分布シフトに対してより一般化性の高い堅牢なモデルを学習可能となり、知られている雑音変数を用いた手法に近い性能を達成し、標準的なERMやシンプルなJTTを上回る。

ABSTRACT

In prediction tasks, there exist features that are related to the label in the same way across different settings for that task; these are semantic features or semantics. Features with varying relationships to the label are nuisances. For example, in detecting cows from natural images, the shape of the head is semantic but because images of cows often have grass backgrounds but not always, the background is a nuisance. Models that exploit nuisance-label relationships face performance degradation when these relationships change. Building models robust to such changes requires additional knowledge beyond samples of the features and labels. For example, existing work uses annotations of nuisances or assumes ERM-trained models depend on nuisances. Approaches to integrate new kinds of additional knowledge enlarge the settings where robust models can be built. We develop an approach to use knowledge about the semantics by corrupting them in data, and then using the corrupted data to produce models which identify correlations between nuisances and the label. Once these correlations are identified, they can be used to adjust for where nuisances drive predictions. We study semantic corruptions in powering different spurious-correlation avoiding methods on multiple out-of-distribution (OOD) tasks like classifying waterbirds, natural language inference (NLI), and detecting cardiomegaly in chest X-rays.

研究の動機と目的

• データ分布に応じて変化する誤った相関関係によるモデル性能の低下という課題に対処すること。
• ERMモデルに対する強い仮定を必要とせず、明示的な雑音アノテーションがなくても堅牢なモデルを構築するための手法を開発すること。
• データ拡張における意味的知識を活用し、雑音依存性を露呈させるバイアスのかかったモデルを生成すること。
• 意味的破損が既存の誤った相関関係を避ける手法（SCAM）を効果的に駆動できることを示すこと。
• 知られている雑音変数に依存する手法と同等またはそれ以上の性能を達成できるかどうかを示すこと。

提案手法

• グローバル意味的特徴（画像におけるパッチランダム化）やNLIにおけるn-gramランダム化など、意味的特徴を意図的に破壊しながら雑音特徴を保持する意味的破損を設計すること。
• 物体認識タスクにおける領域別マスク（ROI-mask）とNLIタスクにおける前提部分マスク（prem-mask）を用い、位置に基づく意味的特徴を破損させること。
• 周波数フィルタリング（freq-filter）と強度フィルタリング（int-filter）を適用し、低周波数および高強度の意味的特徴（例：心臓肥大の胸部X線画像検出）を標的にすること。
• 入力が破損した状態からラベルを予測するバイアスのかかったモデルを学習させ、雑音が予測に寄与している箇所を特定すること。
• これらのバイアスモデルをNURD、DFL、POE、JTTなどのSCAMに統合し、分布シフトに対する耐性を向上させること。
• 得られたモデルを用いて、破損したデータから学習することで誤った相関関係に依存しない予測モデルを訓練すること。

実験結果

リサーチクエスチョン

• RQ1 明示的な雑音アノテーションがなくても、意味的特徴を破損させるデータ拡張を用いて雑音依存性を特定・補正できるか？
• RQ2 意味的破損が、知られている雑音変数を用いた手法と同等の耐性を達成できるSCAMをどれほど効果的に駆動できるか？
• RQ3 水鳥（waterbirds）やNLI、胸部X線心臓肥大検出タスクなどの分布外（OOD）ベンチマークにおいて、意味的破損が一般化性能を向上させるか？
• RQ4 グローバル、ローカル、周波数、強度といった異なる種類の意味的破損は、どれほど雑音情報を保持しながら意味的特徴を破壊できるか？
• RQ5 JTTはERMモデルが雑音に依存しているという仮定に依存しているが、意味的破損を用いることでその性能が向上するか？

主な発見

• パッチランダム化（patch-rand）やn-gramランダム化（ngram-rand）といった意味的破損は、雑音依存性を効果的に特定でき、SCAMが知られている雑音変数を用いた手法と同等の性能を達成できる。
• NURDやDFLと組み合わせた場合、意味的破損は、OODベンチマークにおいて明示的な雑音アノテーションを用いた同じ手法と比較して1〜2%以内の性能差に留まる。
• 意味的破損を用いて強化されたJTTは、シンプルなJTTを上回り、ERMモデルが雑音に依存しているという検証不能な仮定に依存しないより高い耐性を示している。
• 水鳥およびNLIタスクでは、意味的破損を用いたモデルが、ERMと知られている雑音変数を用いた手法との性能差の80%以上を埋め合わせた。
• パッチランダム化におけるグローバル雑音の破壊（例：グローバル雑音の破壊）が一部発生しても、全体としての一般化性能は強く保たれており、不完全な破損に対しても耐性があることが示された。
• 本手法は、画像分類、NLI、医療画像処理を含む視覚およびNLPタスクに広く適用可能であり、広範な適用性を示している。