[論文レビュー] Simple and Fast Group Robustness by Automatic Feature Reweighting

Shikai Qiu, Andres Potapczynski+2 more|arXiv (Cornell University)|Jun 19, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、ベースモデルが悪い性能を示す例に優先順位を付ける重み付き損失を用いて、最終層のみを微調整することで、グループのロバストネスを向上させるシンプルで効率的な手法であるAutomatic Feature Reweighting (AFR)を提案する。AFRは、誤差の最小化（ERM）モデルの最終層を再訓練する方法であり、水鳥（Waterbirds）やMultiNLIなどのビジョンおよびNLPベンチマークで最先端の性能を達成しているが、誤った属性ラベルの必要がなく、計算コストもほとんどかからない。

ABSTRACT

A major challenge to out-of-distribution generalization is reliance on spurious features -- patterns that are predictive of the class label in the training data distribution, but not causally related to the target. Standard methods for reducing the reliance on spurious features typically assume that we know what the spurious feature is, which is rarely true in the real world. Methods that attempt to alleviate this limitation are complex, hard to tune, and lead to a significant computational overhead compared to standard training. In this paper, we propose Automatic Feature Reweighting (AFR), an extremely simple and fast method for updating the model to reduce the reliance on spurious features. AFR retrains the last layer of a standard ERM-trained base model with a weighted loss that emphasizes the examples where the ERM model predicts poorly, automatically upweighting the minority group without group labels. With this simple procedure, we improve upon the best reported results among competing methods trained without spurious attributes on several vision and natural language classification benchmarks, using only a fraction of their compute.

研究の動機と目的

• 現実世界のデータセットにおいて、スプライアス特徴（spurious features）に依存することで引き起こされる分布外一般化の課題に対処すること。
• グループラベルや複雑な訓練手順を必要とせずに、グループのロバストネスを向上させる手法を開発すること。
• 計算コストを抑える一方で、マイノリティグループの性能を維持または向上させること。
• ハイパーパrameterの選択に強く、多様なビジョンおよびNLPベンチマークに適用可能な手法を構築すること。

提案手法

• AFRは、事前に学習されたERMモデルの最終層のみを、重み付き損失関数を用いて再訓練する。
• 例の重みは、最初の段階のERMチェックポイントにおける、正解クラスに対するモデルの予測確率の逆数によって決定される。
• クラスに依存する定数によって重みをスケーリングし、クラスの不均衡に対処する。その形式は μ_i ∝ β_{y_i} exp(−γ p̂_i) である。
• グループラベルを使用せずに、低信頼度の予測を強調することで、マイノリティグループの例を自動的に重み付けする。
• グループラベルの必要がないように、学習分布からのホールドアウトデータセットに適用する。
• AFRは計算的に効率的であり、競合手法の訓練時間の僅か数パーセントで済む。

実験結果

リサーチクエスチョン

• RQ1 スプライアス属性ラベルのアクセスが制限される中で、シンプルで軽量な手法がグループのロバストネスを向上させられるか？
• RQ2 モデルの不確実性（低い予測信頼度）が、マイノリティグループの例を特定・優先するための代理指標として使用可能か？
• RQ3 グループラベルや複雑な訓練手順を必要とする最先端の手法と比較して、AFRはどのように性能を発揮するか？
• RQ4 実際の応用において、AFRはハイパーパrameterの選択に対してどれほど頑健か？
• RQ5 グループラベルがわずかにしか利用できない状況で、AFRはグループラベルを使用する手法を上回れるか？

主な発見

• スプライアス属性ラベルを訓練中に使用しない手法の中で、AFRはWaterbirdsベンチマークにおいて最悪グループの正確性（worst-group accuracy）で最先端の性能を達成した。
• MultiNLIでは、グループロバストな手法の中でグループラベルのアクセスが制限される中で、報告済みの最高性能を上回った。
• ハイパーパrameterチューニングに使用可能なグループラベルがわずかである場合、AFRはグループラベルを用いる最先端の手法を上回った。
• AFRはハイパーパrameterの選択に対して頑健であり、しばしばきめ細やかなチューニングなしでグループロバストネスを向上させた。
• ニューラルネットワークが学習する最適な重み関数は、AFRの指数関数的形と非常に類似しており、その設計選択の妥当性を裏付けた。
• AFRの計算コストは無視できるほど小さく、ベースライン手法の訓練時間の僅か数パーセントで済んだ。