[論文レビュー] Environment Diversification with Multi-head Neural Network for Invariant Learning

Bo‐Wei Huang, Keng-Te Liao+2 more|arXiv (Cornell University)|Aug 17, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、教師なし環境推定と不変表現学習を統合する新しい枠組みEDNILを提案する。EDNILは、事前学習モデルに関する強い仮定やラベル付き環境データを必要とせず、マルチヘッドニューラルネットワークを用いて自動的に環境を推定・多様化する。環境推定と不変表現学習を同時に最適化することで、分布シフトに対して最先端の耐性を達成し、特にバイアス耐性ベンチマークにおける最悪ケース（不整合）例の性能を顕著に向上させる。

ABSTRACT

Neural networks are often trained with empirical risk minimization; however, it has been shown that a shift between training and testing distributions can cause unpredictable performance degradation. On this issue, a research direction, invariant learning, has been proposed to extract invariant features insensitive to the distributional changes. This work proposes EDNIL, an invariant learning framework containing a multi-head neural network to absorb data biases. We show that this framework does not require prior knowledge about environments or strong assumptions about the pre-trained model. We also reveal that the proposed algorithm has theoretical connections to recent studies discussing properties of variant and invariant features. Finally, we demonstrate that models trained with EDNIL are empirically more robust against distributional shifts.

研究の動機と目的

• 機械学習における分布シフトに起因する分布外一般化の課題に対処すること。特に、誤った相関関係やバイアスによって訓練データとテストデータの分布がずれる状況を想定する。
• 実世界の応用において入手困難または高コストである手動ラベル付き環境データに依存しないようにすること。
• 環境推定と不変特徴学習を同時に最適化するフレームワークを構築し、分布シフト下でのモデル耐性を向上させること。
• データやモデル初期化に関する強い仮定を避け、理論的裏付けがあり、効率的かつ初期化に敏感でない不変学習手法を提供すること。
• 医療、自動運転、ソーシャルメディアなどの実世界の機械学習応用における公平性と信頼性を高め、スレーブ属性にアクセスできない状況下でも不変予測子を学習すること。

提案手法

• EDNILは、各ヘッドが別個の推定環境を分類する役割を果たすマルチヘッドニューラルネットワークアーキテクチャを採用しており、教師なしで環境を自動的に発見可能である。
• 環境推定ヘッドとメイン予測ヘッドを、マルチタスク学習の目的関数を通じて同時に最適化することで、推定環境の多様性を促進する。
• マルチクラス分類器に類似した関数的構造を有しており、効率的な学習と、ResNet や DistilBERT などの既存の事前学習モデルとの互換性を実現する。
• モデルが環境固有（誤った）特徴に依存するのを防ぐために、不変表現を促進する新たな損失関数を導入する。
• アーキテクチャが推定環境の多様性を暗黙的に強制しており、不変学習における多様な環境の利点に関する理論的知見と整合する。
• データや初期化に関する強い仮定を避け、初期化の選択に頑健であり、大規模データセットへのスケーラビリティも確保する。

(a)

実験結果

リサーチクエスチョン

• RQ1 マルチヘッドニューラルネットワーク構造は、ラベル付き環境データを一切必要とせず、教師なしで環境を効果的に推定・多様化できるか？
• RQ2 環境推定と不変学習の共同最適化は、従来手法と比較して分布シフトに対する耐性をどのように向上させるか？
• RQ3 EDNILは、バイアス耐性ベンチマークにおける最悪ケース（不整合）例において、最先端の不変学習手法をどの程度上回るか？
• RQ4 EDNILの学習目的と、不変学習における理想環境に関する最近の研究の理論的関連性は何か？
• RQ5 EDNILは、異なるデータタイプやバイアス強度を持つ多様な事前学習モデルと効果的に組み合わせられるか？

主な発見

• SNLI データセットでは、EDNILは最悪ケース（不整合）精度として 54.5% を達成し、ERM（52.6%）、EIIL（51.7%）、IRM（56.9%）を上回り、バイアスシフトに対する優れた耐性を示した。
• EDNILは、複数のデータセットおよび事前学習モデルにおいて、不整合サブセットでの性能を一貫して向上させ、不変特徴の有効な学習を示した。
• Adult-Confounded データセットでは最先端の性能を達成し、スレーブ属性にアクセスできない状況下でも、より公平な意思決定の可能性を示した。
• EDNILは、多様なデータタイプやバイアス強度にわたって優れた一般化性能を示し、慎重な初期化や環境ラベリングを必要とせず、一貫した改善を維持した。
• 最近の理想環境に関する研究とEDNILの理論的関連性から、そのマルチヘッド設計が自然に環境の多様性を促進しており、不変学習にとって不可欠な要因であることが示唆された。
• EDNILの分類器に類似した構造により、効率的な学習と既存の事前学習モデルへのスムーズな統合が可能となり、実用的応用性が向上した。

(b)