[논문 리뷰] Minimax optimal approaches to the label shift problem

Subha Maity, Yuekai Sun외 1명|arXiv (Cornell University)|2020. 03. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 5

한 줄 요약

이 논문은 레이블 이동 문제에 대해 두 가지 설정에서 최소최대 최적 수렴 속도를 확립한다: 하나는 오직 비라벨링된 타겟 데이터만 있는 경우이고, 다른 하나는 소수의 라벨링된 타겟 예제가 있는 경우이다. 이는 라벨링된 타겟 데이터의 가용성이 클래스 조건부 분포의 더 나은 추정을 가능하게 하여 문제의 난이도를 크게 감소시킴을 보여주며, 비라벨링 데이터만 존재하는 설정에서 분포 일치가 최소최대 속도 최적임을 입증한다.

ABSTRACT

We study minimax rates of convergence in the label shift problem. In addition to the usual setting in which the learner only has access to unlabeled examples from the target domain, we also consider the setting in which a small number of labeled examples from the target domain are available to the learner. Our study reveals a difference in the difficulty of the label shift problem in the two settings. We attribute this difference to the availability of data from the target domain to estimate the class conditional distributions in the latter setting. We also show that a distributional matching approach is minimax rate-optimal in the former setting.

연구 동기 및 목표

• 두 가지 다른 데이터 가용성 설정에서 레이블 이동 문제의 최소최대 수렴 속도를 분석하는 것.
• 타겟 도메인에서 소수의 라벨링된 예제가 가용할 경우 레이블 이동 문제의 난이도에 어떤 영향을 미치는지 조사하는 것.
• 비라벨링 타겟 데이터만 존재하는 설정에서 분포 일치가 최소최대 최적 수렴 속도를 달성하는지 확인하는 것.
• 라벨링된 타겟 예제가 있는지 여부에 따라 레이블 이동의 통계적 복잡도를 비교하는 것.

제안 방법

• 논문은 두 가지 설정에서 레이블 이동 문제에 대한 최소최대 하한을 유도한다: 하나는 오직 비라벨링된 타겟 데이터만 있는 경우이고, 다른 하나는 소수의 라벨링된 타겟 예제가 있는 경우이다.
• 각 설정에서 클래스 조건부 분포 추정의 통계적 난이도를 분석하여, 라벨링 데이터가 더 정확한 추정을 가능하게 함을 보여준다.
• 저자는 비라벨링 전용 설정에서 소스 및 타겟 도메인 분포를 일치시키는 방법으로서 분포 일치의 성능을 평가한다.
• 비라벨링 전용 설정에서 분포 일치가 최소최대 최적 수렴 속도를 달성함을 입증하여, 이는 통계적으로 효율적인 방법임을 보여준다.
• 분석은 레이블 이동 하에서 학습의 기본 한계를 기술하기 위해 비점근 최소최대 이론에 기반한다.

실험 결과

연구 질문

• RQ1 오직 비라벨링된 타겟 데이터만 존재할 경우 레이블 이동 문제의 최소최대 수렴 속도는 무엇인가?
• RQ2 소수의 라벨링된 타겟 예제가 포함될 경우 레이블 이동 문제의 통계적 난이도는 어떻게 변화하는가?
• RQ3 비라벨링 타겟 데이터만 존재하는 설정에서 분포 일치가 최소최대 수렴 속도 최적의 방법인가?
• RQ4 두 설정 간의 학습 복잡도의 근본적인 차이는 무엇인가?

주요 결과

• 타겟 도메인에서 소수의 라벨링된 예제가 가용할 경우, 클래스 조건부 분포의 추정이 향상되어 레이블 이동 문제의 난이도가 크게 감소한다.
• 라벨링된 타겟 데이터의 가용성은 최소최대 수렴 속도를 감소시켜 이 설정에서 더 낮은 통계적 복잡도를 의미한다.
• 비라벨링 전용 설정에서 분포 일치는 최소최대 최적 수렴 속도를 달성하여 통계적으로 효율적인 방법임을 입증한다.
• 최소최대 하한은 라벨링 데이터로부터 클래스 조건부 분포를 추정할 수 있는 능력 덕분에 두 설정 간의 난이도의 근본적인 차이를 드러낸다.