[論文レビュー] Estimating Generalization under Distribution Shifts via Domain-Invariant Representations

Ching-Yao Chuang, Antonio Torralba+1 more|arXiv (Cornell University)|Jul 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 12

ひとこと要約

本稿では、分布シフト下でのモデル一般化を推定する手法を提案する。ドメイン不変表現（DIRs）をターゲット性能の代理ラベルとして用い、ラベルなしでターゲットリスクを正確に推定する。視覚および自然言語処理のベンチマークにおいて、誤差推定およびポイントワイズ誤差検出の両面で、先行手法を上回る性能を発揮する。

ABSTRACT

When machine learning models are deployed on a test distribution different from the training distribution, they can perform poorly, but overestimate their performance. In this work, we aim to better estimate a model's performance under distribution shift, without supervision. To do so, we use a set of domain-invariant predictors as a proxy for the unknown, true target labels. Since the error of the resulting risk estimate depends on the target risk of the proxy model, we study generalization of domain-invariant representations and show that the complexity of the latent representation has a significant influence on the target risk. Empirically, our approach (1) enables self-tuning of domain adaptation models, and (2) accurately estimates the target error of given models under distribution shift. Other applications include model selection, deciding early stopping and error detection.

研究の動機と目的

• ターゲットラベルにアクセスできない状況下で、分布シフト下でのモデル一般化を推定すること。
• ドメイン不変予測子を代理ラベルとして用いることで、ターゲットリスク推定の手法を開発すること。
• ドメイン不変表現における表現の複雑さがターゲット一般化に与える役割を分析すること。
• リスク推定を用いてドメイン適応モデルの自己調整を可能にすること。
• 分布シフト下におけるモデル選択、早期停止、誤差検出を支援すること。

提案手法

• 未知の真のターゲットラベルの代理ラベルとして、ドメイン不変表現（DIRs）の集合を用いる。
• ドメイン不変トレーニング目的関数（例：ドメイン adversarial learning や MMD）を用い、ターゲットモデルと最大限に不一致するように複数の DIR モデル（チェックモデル）を訓練する。
• チェックモデルのアンサンブルに対するエラーを測定することで、モデルのターゲットリスクを推定する。
• ターゲットモデルとチェックモデルの不一致を、潜在的な高いターゲットリスクのシグナルとして用いる。
• 平均リスクとポイントワイズ誤差の両方を推定するフレームワークを適用し、各予測の信頼性評価を可能にする。
• ターゲットリスク推定に基づいて、最適な表現複雑度を選択することで、DIR モデルの自己調整を実現する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変表現は、分布シフト下でのターゲットリスク推定に信頼できる代理ラベルとして機能するか？
• RQ2 表現エンコーダーの複雑さは、ドメイン不変モデルにおけるターゲット一般化にどのように影響するか？
• RQ3 提案手法は、既存の非教師ありリスク推定手法を上回ってターゲット誤差を推定できるか？
• RQ4 この手法は、シフトされた分布上でのポイントワイズ予測誤差をどの程度正確に検出できるか？
• RQ5 リスク推定フレームワークにより、ドメイン適応モデルの自己調整が可能になるか？

主な発見

• DIR-Object タスクでは、提案手法が平均絶対誤差 0.021 を達成し、Ben-David et al. (0.114) や信頼スコア (0.088) と比べ顕著に優れている。
• SL-Object タスクでは、予測されたターゲットリスクと真のターゲットリスクのピアソン相関が 0.995 に達し、Ben-David et al. (0.932) や信頼スコア (0.459) を上回っている。
• ポイントワイズ誤差検出において、桁分類では F1 スコア 0.980、オブジェクト分類では 0.928 を達成し、誤分類の同定において高い信頼性を示している。
• 表現エンコーダーの複雑さは、予測子の複雑さよりもターゲット一般化に強い影響を与えることが判明し、ドメイン適応における重要な設計選択事項であることが強調された。
• 最適な表現複雑度の選択に基づくターゲットリスク推定により、DIR モデルの自己調整が可能となり、ターゲット一般化が向上した。
• このフレームワークは、非適応的教師ありモデルおよび適応的ドメイン不変モデルの両方に対してターゲットリスクを成功裏に推定でき、広範な適用可能性を示している。