[論文レビュー] Domain Extrapolation via Regret Minimization.

Wengong Jin, Regina Barzilay+1 more|arXiv (Cornell University)|Jun 6, 2020

Computational Drug Discovery Methods参考文献 32被引用数 15

ひとこと要約

本稿では、保留済みの環境に事後的アクセスが可能なオラクルに対するレジットを最小化することで、表現学習を定式化することにより、分布外一般化を向上させるドメイン一般化手法であるレジット最小化（RGM）を提案する。RGMは強い予測子による崩壊を回避し、分子性質予測およびタンパク質相同性検出の分野で最先端の手法を上回る性能を発揮する。

ABSTRACT

Many real prediction tasks such as molecular property prediction require ability to extrapolate to unseen domains. The success in these tasks typically hinges on finding a good representation. In this paper, we extend invariant risk minimization (IRM) by recasting the simultaneous optimality condition in terms of regret, finding instead a representation that enables the predictor to be optimal against an oracle with hindsight access on held-out environments. The change refocuses the principle on generalization and doesn't collapse even with strong predictors that can perfectly fit all the training data. Our regret minimization (RGM) approach can be further combined with adaptive domain perturbations to handle combinatorially defined environments. We evaluate our method on two real-world applications: molecule property prediction and protein homology detection and show that RGM significantly outperforms previous state-of-the-art domain generalization techniques.

研究の動機と目的

• モデルが未観測のドメインに外挿する必要がある現実世界の予測タスクにおけるドメイン一般化の課題に対処すること。
• 訓練データを完璧に適合できる強い予測子の下で崩壊を起こす可能性がある既存手法（例：不変リスク最小化（IRM））の限界を克服すること。
• 不変性ではなくレジット最小化に注目することで、一般化を重視する表現学習フレームワークを構築すること。
• 組み合わせ的に定義された環境を効果的に扱えるように、適応的ドメイン摂動を統合すること。

提案手法

• IRMにおける同時最適性条件を、保留済みの環境を完全に把握するオラクルに対するレジット最小化として再定式化する。
• レジットを、予測子の性能と、すべての環境に事後的アクセス可能な状況での最適性能との差分として定義する。
• このレジットを最小化する表現を学習することで、未観測のドメインにわたる耐性と一般化を促進する。
• 組み合わせ的に定義された環境をモデル化するために、適応的ドメイン摂動を統合し、複雑な現実世界の設定への適用性を高める。
• レジットに基づく目的関数を用いて表現と予測子を同時に学習させ、強い予測子が使用されてもモデルの安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 強い予測子が存在する状況において、不変リスク最小化の限界を超えてドメイン一般化を向上させるために、レジット最小化が有効であるか。
• RQ2 分子性質予測のような複雑で組み合わせ的に定義されたドメインを持つ現実世界のタスクにおいて、レジット最小化はどのように性能を発揮するか。
• RQ3 適応的ドメイン摂動と組み合わせたレジット最小化が、構造的または組み合わせ的ドメインシフトが生じる設定での一般化をどのように向上させるか。
• RQ4 レジット最小化は、分子および生物学的予測タスクにおける分布外一般化ベンチマークで最先端の性能を達成できるか。

主な発見

• RGMは、分子性質予測ベンチマークにおいて、以前の最先端のドメイン一般化手法を顕著に上回る性能を発揮する。
• RGMは、すべての訓練データを完璧に適合できる強い予測子で学習しても、性能の安定性を維持し、崩壊を回避する。
• 適応的ドメイン摂動の統合により、組み合わせ的に定義された環境の効果的なモデル化が可能となり、複雑な設定での一般化が向上する。
• RGMはタンパク質相同性検出において優れた性能を発揮し、生物学的配列モデリングタスクにおける有効性を示している。
• レジットに基づく定式化により、不変性から一般化への焦点が移行し、多様で未観測のドメインにわたるより頑健な表現が得られる。