[論文レビュー] Learning Representations that Support Robust Transfer of Predictors

Yilun Xu, Tommi Jaakkola|arXiv (Cornell University)|Oct 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 4

ひとこと要約

本稿では、未知の環境間での予測子の転送性を向上させるために表現学習を最適化する、新たな頑健な推定基準である転送リスク最小化（TRM）を提案する。最適な環境別予測子を他の環境に適用する際のリスクを最小化することで、TRMは直接的転送項と重み付き勾配マッチング項に分解され、PACS や Office-Home などの制御されたおよび実世界のデータセットにおいて、IRM やベースラインを上回る分布外一般化性能を示す。

ABSTRACT

Ensuring generalization to unseen environments remains a challenge. Domain shift can lead to substantially degraded performance unless shifts are well-exercised within the available training environments. We introduce a simple robust estimation criterion -- transfer risk -- that is specifically geared towards optimizing transfer to new environments. Effectively, the criterion amounts to finding a representation that minimizes the risk of applying any optimal predictor trained on one environment to another. The transfer risk essentially decomposes into two terms, a direct transfer term and a weighted gradient-matching term arising from the optimality of per-environment predictors. Although inspired by IRM, we show that transfer risk serves as a better out-of-distribution generalization criterion, both theoretically and empirically. We further demonstrate the impact of optimizing such transfer risk on two controlled settings, each representing a different pattern of environment shift, as well as on two real-world datasets. Experimentally, the approach outperforms baselines across various out-of-distribution generalization tasks. Code is available at \url{https://github.com/Newbeeer/TRM}.

研究の動機と目的

• ドメインシフト下での分布外一般化の課題に取り組むこと。標準的な ERM は、環境固有の誤った特徴によって失敗するためである。
• 未確認の環境への予測子の頑健な転送を直接最適化する学習目的を構築すること。
• 非線形設定における一般化をより良く支援する基準を定式化することで、既存の不変性に基づく手法（例：IRM）を改善すること。
• 制御されたシフトパターンと実世界のベンチマークで手法を評価し、誤った特徴に対する頑健性の優位性を示すこと。

提案手法

• ある環境で訓練された最適な予測子を、敵対的に選ばれた他の環境に適用する際の平均リスクを測る基準として、転送リスク最小化（TRM）を提案する。
• 転送リスクを2つの構成要素に分解する：直接的転送項と、環境間での予測子の一貫性を促進する重み付き勾配マッチング項。
• TRM 目的関数に基づき、表現学習と各環境ごとの予測子を同時に学習するための交互最適化アルゴリズムを開発する。
• 2段階の訓練プロセスを採用する：まず各環境の予測子を最適化し、次に転送リスクを最小化するように表現を更新する。
• ResNet18 や ResNet50 といった標準的なバックボーンを用いて、制御されたデータセット（10C-CMNIST、SceneCOCO）および実世界のベンチマーク（PACS、Office-Home）に本手法を適用する。
• グループ分布的ロバストネスに適応するため、グループを組み合わせることで、誤った相関関係が存在しても不変特徴学習を維持する。

実験結果

リサーチクエスチョン

• RQ1 未確認の環境間での予測子の頑健な転送を直接最適化する表現学習目的を設計できるか？
• RQ2 TRM は、分布外一般化性能において IRM や他の不変性に基づく手法と比較してどのように異なるか？
• RQ3 TRM は、学習データに存在する誤った環境固有の特徴の悪影響を効果的に軽減できるか？
• RQ4 TRM は、制御されたシフト設定と実世界のドメイン一般化ベンチマークの両方で良好に一般化できるか？

主な発見

• ResNet50 を用いた PACS データセットでは、TRM は平均で 82.9% のテスト精度を達成し、最悪グループでは 70.9% を記録。これは ERM、IRM、GroupDRO を上回る。
• Office-Home データセットでは、TRM は平均 65.5% の精度を達成。これは ERM（64.1%）、IRM（64.3%）、REx（64.8%）を上回り、最悪グループでも高い性能を発揮。
• CelebA のグループ分布的ロバストネス実験では、TRM は最悪グループ精度で 90.3% を達成。これは GroupDRO（90.0%）と Reweight（89.3%）を上回り、高い平均精度を維持。
• 10C-CMNIST および SceneCOCO の制御された設定では、非因果的特徴が存在する状況で、TRM がベースラインを上回る分布外一般化性能を示す。
• TRM の1エポックあたりの訓練時間は 8.69s であり、ERM（5.81s）と比較してやや長くはなるが、勾配マッチングの追加計算を考慮しても効率的な最適化が可能である。
• アブレーションスタディの結果、重み付き勾配マッチング項が非線形特徴変換下でも頑健性を確保するために不可欠であることが確認された。