[논문 리뷰] Domain Extrapolation via Regret Minimization.

Wengong Jin, Regina Barzilay외 1명|arXiv (Cornell University)|2020. 06. 06.

Computational Drug Discovery Methods참고 문헌 32인용 수 15

한 줄 요약

이 논문은 도메인 일반화 방법인 회귀 최소화(RGM)를 제안하며, 보류된 환경에 대한 후행적 액세스를 가진 오라클에 대한 회귀를 최소화하는 방식으로 표현 학습을 프레임워크화하여 분포 외 일반화를 향상시킨다. RGM은 강력한 예측기 하에서 붕괴를 방지하고 분자의 성질 예측 및 단백질 동형성 탐지에서 최신 기법들을 능가한다.

ABSTRACT

Many real prediction tasks such as molecular property prediction require ability to extrapolate to unseen domains. The success in these tasks typically hinges on finding a good representation. In this paper, we extend invariant risk minimization (IRM) by recasting the simultaneous optimality condition in terms of regret, finding instead a representation that enables the predictor to be optimal against an oracle with hindsight access on held-out environments. The change refocuses the principle on generalization and doesn't collapse even with strong predictors that can perfectly fit all the training data. Our regret minimization (RGM) approach can be further combined with adaptive domain perturbations to handle combinatorially defined environments. We evaluate our method on two real-world applications: molecule property prediction and protein homology detection and show that RGM significantly outperforms previous state-of-the-art domain generalization techniques.

연구 동기 및 목표

• 모델이 새로운 도메인으로 외삽해야 하는 실제 예측 작업에서 도메인 일반화의 과제를 해결하기 위해.
• 강력한 예측기가 훈련 데이터를 완벽하게 맞추는 경우 붕괴가 발생할 수 있는 기존 방법들, 예를 들어 불변 위험 최소화(IRM)의 한계를 극복하기 위해.
• 불변성보다는 회귀 최소화에 초점을 맞춤으로써 일반화를 우선시하는 표현 학습 프레임워크를 개발하기 위해.
• 조합적으로 정의된 환경을 효과적으로 다룰 수 있도록 적응형 도메인 편향을 통합하기 위해.

제안 방법

• IRM의 동시 최적성 조건을, 보류된 환경에 대한 전체 지식을 가진 오라클에 대비하여 예측기를 최적화하는 방식으로 회귀 최소화로 재구성한다.
• 회귀를 모든 환경에 대해 후행적 액세스가 가능한 최적 성능과 예측기 성능의 차이로 정의한다.
• 이러한 회귀를 최소화하는 표현을 학습함으로써, 새로운 도메인에 대한 강건성과 일반화를 장려한다.
• 조합적으로 정의된 환경을 모델링하기 위해 적응형 도메인 편향을 통합함으로써, 복잡한 실제 설정에 대한 적용 가능성을 높인다.
• 표현과 예측기를 회귀 기반 목표를 사용해 공동으로 훈련함으로써, 강력한 예측기를 사용할 때에도 모델이 안정성을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 강력한 예측기가 존재하는 상황에서 불변 위험 최소화의 한계를 넘어서 회귀 최소화가 도메인 일반화를 향상시킬 수 있는가?
• RQ2 분자의 성질 예측과 같이 복잡하고 조합적으로 정의된 도메인을 가진 실제 작업에서 회귀 최소화는 어떻게 성능을 발휘하는가?
• RQ3 적응형 도메인 편향과 함께 회귀 최소화를 조합하면, 구조적 또는 조합적 도메인 이동이 있는 설정에서 일반화가 향상되는가?
• RQ4 회귀 최소화가 분자의 예측 및 생물학적 예측 작업에서 분포 외 일반화 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• RGM은 분자의 성질 예측 벤치마크에서 이전 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.
• 강력한 예측기를 사용해 모든 훈련 데이터를 완벽하게 맞출 수 있는 상황에서도 RGM은 성능 안정성을 유지하고 붕괴를 방지했다.
• 적응형 도메인 편향의 통합은 조합적으로 정의된 환경의 효과적인 모델링을 가능하게 하여 복잡한 설정에서의 일반화를 향상시켰다.
• RGM은 단백질 동형성 탐지에서 뛰어난 성능을 보였으며, 생물학적 시퀀스 모델링 작업에서의 효과성을 입증했다.
• 회귀 기반 공식화는 불변성에서 일반화로의 초점을 이동시켜 다양한 새로운 도메인에서 더 강건한 표현을 도출했다.