[論文レビュー] BARACK: Partially Supervised Group Robustness With Guarantees

Nimit S. Sohoni, Maziar Sanjabi+5 more|arXiv (Cornell University)|Dec 31, 2021

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

この論文は、部分的なグループラベルを活用することで、機械学習における最悪グループのロバスト性を向上させる二段階フレームワーク、Barackを提案する。まず、ラベルのないデータに対して欠落したグループラベルを予測するモデルを訓練する。次に、これらの予測値をグループ分布的ロバスト最適化（GDRO）目的関数に用いる。本手法は、1–33%のグループラベルしか利用しない状況でも、完全な監視GDROに匹敵する性能を達成しており、理論的一般化バウンドと複数のベンチマークにおける実験的検証によって裏付けられている。

ABSTRACT

While neural networks have shown remarkable success on classification tasks in terms of average-case performance, they often fail to perform well on certain groups of the data. Such group information may be expensive to obtain; thus, recent works in robustness and fairness have proposed ways to improve worst-group performance even when group labels are unavailable for the training data. However, these methods generally underperform methods that utilize group information at training time. In this work, we assume access to a small number of group labels alongside a larger dataset without group labels. We propose BARACK, a simple two-step framework to utilize this partial group information to improve worst-group performance: train a model to predict the missing group labels for the training data, and then use these predicted group labels in a robust optimization objective. Theoretically, we provide generalization bounds for our approach in terms of the worst-group performance, which scale with respect to both the total number of training points and the number of training points with group labels. Empirically, our method outperforms the baselines that do not use group information, even when only 1-33% of points have group labels. We provide ablation studies to support the robustness and extensibility of our framework.

研究の動機と目的

• グループラベルが高価または入手困難な状況において、ニューラルネットワークの最悪グループ性能が低いという課題に対処すること。
• 完全な監視ロバストトレーニングと自己教師あり手法の間の性能ギャップを、少数のグループラベルのみを用いて埋める。
• ラベル付きデータの数と全データ量に依存する最悪グループ一般化に対する理論的保証を提供すること。
• 部分的監視が、グループ情報が全くない手法と比較して、ロバスト性を顕著に向上させることを実験的に検証すること。

提案手法

• 利用可能なグループラベルが付与されたデータのサブセット上でグループ分類器を訓練し、残りのラベルなしデータのグループアイデンティティを予測する。
• 第一段階で得られた予測されたグループラベルを、モデルトレーニング段階で疑似ラベルとして、グループ分布的ロバスト最適化（GDRO）目的関数に用いる。
• 理論的分析を適用し、ラベル付きデータの数と全データ量に依存する最悪グループ性能の一般化バウンドを導出する。
• グループ分類器の性能向上のため、自己教師学習（SSL）、特にFixMatchを用いて、ラベル予測の品質を向上させる。
• 予測されたグループラベルを用いて、GDROを用いて最終的なロバストモデルを最適化する。標準的なハイパーパramータサーチとモデル選択を維持する。
• アブレーションスタディを実施し、グループ予測の品質、モデル初期化、データオーグメンテーションが全体の性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 少数のグループラベルが、分類タスクにおける最悪グループ性能を顕著に改善できるか？
• RQ2 利用可能なグループラベルの数と全データ量が増加するに従い、最悪グループの一般化誤差はどのように変化するか？
• RQ3 グループ予測とロバスト最適化を組み合わせた二段階アプローチが、グループ情報を利用しない手法を上回れるか？
• RQ4 自己教師学習（SSL）をグループ予測段階で用いることで、予測されたグループラベルの品質が向上し、結果として最終的なロバスト性が向上するか？
• RQ5 正確なグループ予測とロバスト最適化のどちらが、最悪グループ性能の向上に寄与しているか、相対的な貢献度はいかほどか？

主な発見

• 1–33%のトレーニングポイントにグループラベルが存在する状況でも、BarackはFull-GDRO（すべてのグループラベルを使用）の最悪グループ精度から2–5%以内の性能を達成する。
• WaterbirdsとCelebAのデータセットにおいて、8ポイント（1%）のラベル付きデータを用いたBarackは、それぞれ81.1%および90.4%の最悪グループ精度を達成し、グループ情報なしのすべてのベースラインを上回る。
• 理論的分析により、最悪グループ一般化誤差がO(1/√n_g)としてスケーリングすることが示された。ここでn_gはラベル付きの最小グループに属するデータ数である。
• グループ予測段階で自己教師学習（FixMatch）を用いることで、一般化バウンドがさらに厳しくなり、性能向上が達成された。
• アブレーションスタディにより、グループ予測の品質が極めて重要であることが確認され、自己教師学習事前学習（例：RotNet）を用いる場合、データオーグメンテーションが性能向上に寄与することが分かった。
• GEORGE や Subset-GDRO といったベースラインでさえ、より多くのラベル付きデータを用いても、Barackはそれを上回る性能を示し、二段階設計の価値を裏付けた。