[논문 리뷰] Mandoline: Model Evaluation under Distribution Shift

Mayee Chen, Karan Goel외 4명|arXiv (Cornell University)|2021. 07. 01.

Machine Learning and Data Classification인용 수 10

한 줄 요약

Mandoline은 사용자 지도형 모델 평가 프레임워크로, 밀도 비율 추정을 안내하는 사용자 정의 '슬라이싱 함수'를 활용하여 분포 이탈 상황에서 성능 추정을 향상시킨다. 슬라이스 기반 중요도 가중치를 사용해 소스 데이터를 재가중함으로써, 표준 중요도 가중치 대비 추정 오차를 최대 3배까지 감소시키며, 특히 고차원 또는 지원 겹침이 없는 분포 이탈 상황에서 유리하다.

ABSTRACT

Machine learning models are often deployed in different settings than they were trained and validated on, posing a challenge to practitioners who wish to predict how well the deployed model will perform on a target distribution. If an unlabeled sample from the target distribution is available, along with a labeled sample from a possibly different source distribution, standard approaches such as importance weighting can be applied to estimate performance on the target. However, importance weighting struggles when the source and target distributions have non-overlapping support or are high-dimensional. Taking inspiration from fields such as epidemiology and polling, we develop Mandoline, a new evaluation framework that mitigates these issues. Our key insight is that practitioners may have prior knowledge about the ways in which the distribution shifts, which we can use to better guide the importance weighting procedure. Specifically, users write simple "slicing functions" - noisy, potentially correlated binary functions intended to capture possible axes of distribution shift - to compute reweighted performance estimates. We further describe a density ratio estimation framework for the slices and show how its estimation error scales with slice quality and dataset size. Empirical validation on NLP and vision tasks shows that Mandoline can estimate performance on the target distribution up to 3x more accurately compared to standard baselines.

연구 동기 및 목표

• 학습 데이터와 다를 수 있는 타겟 분포에서 머신러닝 모델을 평가하는 데 도전하는 것.
• 고차원 데이터 또는 소스와 타겟 분포 간 지원 겹침이 없는 상황에서 표준 중요도 가중치가 실패하는 한계를 극복하는 것.
• 사용자 지식을 활용해 분포 이탈의 잠재적 축을 나타내는 노이즈가 있는, 상관관계가 있는 슬라이싱 함수를 정의함으로써 분포 이탈을 탐지하는 것.
• 최소한의 지원 겹침 조건 하에서도 현실적인 가정 하에 이론적으로 탄탄한 프레임워크를 개발하여 오차 한계를 제공하는 것.
• 재학습 없이도 최소한의 인간 입력(슬라이싱 함수 형태)으로 사전 학습된 모델을 새로운 타겟 분포에서 정확하게 평가할 수 있도록 하는 것.

제안 방법

• 사용자가 '슬라이싱 함수'—노이즈가 있고 상관관계가 있는 이진 함수—를 정의하여 데이터 내 분포 이탈의 잠재적 축(예: 언어 패턴, 메타데이터 등)을 식별한다.
• 프레임워크는 소스 및 타겟 데이터를 모두 슬라이스 공간으로 투영함으로써 차원을 감소시키고, 원시 특징 기반 방법 대비 더 안정적인 밀도 비율 추정을 가능하게 한다.
• 슬라이스 간 상관관계와 불완전성을 표현하기 위해 그래픽 모델을 사용하며, 사용자가 슬라이스 품질에 대해 갖는 신뢰도를 반영해 강건성을 향상시킨다.
• 슬라이스 신뢰도에 관한 사전 지식을 활용해 LL-KLIEP를 확장하여 슬라이스 기반 밀도 비율 추정치를 노이즈 제거함으로써, 노이즈가 있거나 불완전한 슬라이스에서 기인하는 분산을 줄인다.
• 추정된 슬라이스 수준의 밀도 비율을 사용해 레이블이 부여된 소스 데이터를 재가중하여 타겟 분포에서의 성능을 추정한다.
• 이론적 분석을 통해 추정 오차의 편향-분산 분해를 제공하며, 편향은 슬라이스 품질에 따라 달라지고 분산은 데이터 크기 및 분포 성질에 따라 영향을 받는다.

실험 결과

연구 질문

• RQ1 타겟 배포 분포가 학습 분포와 크게 다를 경우, 어떻게 모델 평가를 향상시킬 수 있는가?
• RQ2 사용자 정의 슬라이싱 함수는 분포 이탈 상황에서 중요도 가중치의 추정 오차를 어느 정도 감소시킬 수 있는가?
• RQ3 슬라이싱 함수가 노이즈가 있거나 상관관계가 있거나 불완전한 경우, 프레임워크는 어떻게 작동하는가?
• RQ4 밀도 비율 추정에 대한 노이즈 제거 메커니즘은 열악한 품질의 슬라이싱 함수에 대한 강건성을 향상시킬 수 있는가?
• RQ5 표준 중요도 가중치가 실패하는 지원 이탈 상황에서 재가중 기반 평가에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 슬라이싱 함수가 분포 이탈을 완전히 포괄할 경우, 표준 중요도 가중치 기준선 대비 Mandoline은 추정 오차를 최대 3배까지 감소시킨다.
• 노이즈가 있거나 불완전한 슬라이싱 함수가 있더라도 Mandoline는 성능 저하가 최소한이어서 사용자 입력의 열악함에 강건함을 입증한다.
• 표준 중요도 가중치가 밀도 비율 추정치의 높은 분산으로 실패하는 고차원 설정에서도 Mandoline는 낮은 오차를 유지한다.
• 이론적 분석을 통해 현실적인 가정 하에서 추정 오차가 유한함을 확인하였으며, 편향은 슬라이스 품질에 따라 달라지고 분산은 데이터 크기 및 분포 성질에 따라 영향을 받는다.
• 자연어 처리 및 컴퓨터 비전 작업에서의 실증적 평가를 통해 Mandoline가 타겟 분포에서의 모델 성능 추정에서 기존 기준선을 능가함을 확인하였다.