[논문 리뷰] Sample Efficient Learning of Predictors that Complement Humans

Mohammad-Amin Charusaie, Hussein Mozannar외 2명|arXiv (Cornell University)|2022. 07. 19.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 인간 전문가의 결함을 보완할 수 있는 AI 예측 모델을 이론적으로 기반한 프레임워크로 제안하며, 새로운 일관성 있는 서브티튜트 손실 함수의 가족과 주도 학습을 통해 인간 레이블 데이터에 대한 의존도를 최소화한다. 공동 학습이 단계적 학습보다 우수함을 증명하였으며, 특히 모델 용량 제약과 데이터 부족 조건에서 두드러진다.

ABSTRACT

One of the goals of learning algorithms is to complement and reduce the burden on human decision makers. The expert deferral setting wherein an algorithm can either predict on its own or defer the decision to a downstream expert helps accomplish this goal. A fundamental aspect of this setting is the need to learn complementary predictors that improve on the human's weaknesses rather than learning predictors optimized for average error. In this work, we provide the first theoretical analysis of the benefit of learning complementary predictors in expert deferral. To enable efficiently learning such predictors, we consider a family of consistent surrogate loss functions for expert deferral and analyze their theoretical properties. Finally, we design active learning schemes that require minimal amount of data of human expert predictions in order to learn accurate deferral systems.

연구 동기 및 목표

• 공동 학습이 단계적 접근보다 인간 결정보다 뛰어나지 않는 이론적 이해의 격차를 메우기 위해.
• 전문가 결함 회피에서 분류기와 기각기의 효과적인 공동 학습을 가능하게 하는 일관성 있는 서브티튜트 손실 함수의 가족을 개발하기 위해.
• 정확한 결함 회피 시스템을 학습하기 위해 필요한 인간 예측 수를 최소화하는 주도 학습 기반의 설계를 위해.
• 평균 오차 최적화된 예측기와는 대조적으로 인간의 약점을 보완하는 예측기의 학습이 가져오는 이론적 이점을 분석하기 위해.
• 제안된 서브티튜트 손실 함수에 대한 일반화 및 초과 위험 경계를 제공하여 안정성과 샘플 효율성을 보장하기 위해.

제안 방법

• 기존 방법(예: [MS20]에서 제안한 것)을 일반화하는 전문가 결함 회피를 위한 새로운 서브티튜트 손실 함수의 가족을 제안하며, 일관성과 이론적 보장을 확보한다.
• 라데마처 복잡도와 호프딩 부등식을 사용하여 제안된 서브티튜트 손실 함수의 일반화 오차 및 초과 위험에 대한 이론적 경계를 수립한다.
• 불확실성 또는 영향력이 큰 예외들에 대해서만 인간 전문가를 대상으로 쿼리하는 주도 학습 알고리즘을 설계하여 인간의 오류 경계를 효율적으로 학습한다.
• 이중 단계 학습 프로세스를 사용한다: 먼저 주도 샘플링을 통해 인간의 오류 패tern을 추정하고, 이후 서브티튜트 손실을 사용하여 분류기와 기각기를 공동으로 학습한다.
• [MS20]의 일반화 경계와 라데마처 복잡도를 활용하여 최종 결함 회피 시스템의 샘플 복잡도 보장을 유도한다.
• 모델 용량 제약이 존재하고 인간 전문가의 지식이 비용이 많이 드는 실세계 시나리오(예: 의료 진단)에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 인간의 오류를 무시하는 단계적 학습과는 대비하여 인간의 약점을 보완하는 분류기와 기각기의 공동 학습이 이론적으로 어떻게 다른가?
• RQ2 제안된 전문가 결함 회피를 위한 서브티튜트 손실 함수의 가족의 일반화 및 초과 위험 성질은 무엇인가?
• RQ3 주도 학습이 효과적인 결함 회피 시스템을 학습하기 위해 필요한 인간 레이블 예측 수를 크게 줄일 수 있는가?
• RQ4 모델 용량 제약이 보완 예측기 학습과 비보완 예측기 학습 간 성능 격차에 어떤 영향을 미치는가?
• RQ5 제안된 결함 회피 프레임워크의 샘플 효율성과 일반화에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 논문은 공동 학습(인간의 약점을 보완함)과 단계적 학습(인간의 오류를 무시함) 사이에 이론적 격차를 증명하였으며, 모델 용량 제약 조건 하에서 공동 학습이 더 낮은 오차를 달성할 수 있음을 보였다.
• 제안된 서브티튜트 손실 함수의 가족은 이전 연구를 일반화하며 일관된 초과 위험 경계를 달성하여, 학습된 모델이 최적의 결함 회피 정책으로 수렴함을 보장한다.
• 주도 학습은 인간 예측 수를 크게 줄였음을 입증하였으며, 특히 $\leq \epsilon$의 일반화 오차를 높은 확률로 달성하기 위해 필요한 샘플 수 $n_u$는 $\max\{\frac{8\log(2/\delta)}{\epsilon^2}, \frac{288\log(8/\delta)}{\epsilon^2}, \frac{C'\max\{d(\mathcal{H}),d(\mathcal{R})\}\log(1/\epsilon)}{\epsilon^2}\}$로 경계되며, 여기서 $C' = 2^{10}$이다.
• 이론적 분석을 통해 가설 클래스와 기각기 클래스의 라데마처 복잡도가 샘플 크기와 함께 감소함을 보여, 제한된 데이터 조건에서도 일반화가 가능함을 입증하였다.
• 실증 결과는 보완 예측기를 학습할 경우 단계적 학습보다 오차와 인간의 작업 부담을 더 효과적으로 줄임을 확인하였으며, 특히 모델 용량이 제한된 조건에서 두드러진다.
• 이 방법은 최소한의 인간 데이터로도 뛰어난 성능을 달성하여, 의료 영상과 같은 실세계 배포 환경에서 샘플 효율성을 입증하였다.