[논문 리뷰] Learning to Defer in Congested Systems: The AI-Human Interplay

Thodoris Lykouris, Wentao Weng|arXiv (Cornell University)|2024. 02. 19.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 혼잡도를 고려한 인간-AI 상호작용을 모델링하는 새로운 온라인 학습 프레임워크를 제안한다. 여기서 AI는 인간 검토자에게 게시물을 이관하기로 결정할 때 인간 검토 능력의 변동성을 고려한 제약 조건을 가진다. 알고리즘은 분류 정확도, 선택적 샘플링 편향, 대기 지연을 동시에 고려하여 맥락 기반 대기열 모델을 통해 근사 최적의 손실 한계를 달성한다. 이는 내생적 피드백 지연이 존재하는 환경에서 near-optimal regret bounds를 확보한다.

ABSTRACT

High-stakes applications rely on combining Artificial Intelligence (AI) and humans for responsive and reliable decision making. For example, content moderation in social media platforms often employs an AI-human pipeline to promptly remove policy violations without jeopardizing legitimate content. A typical heuristic estimates the risk of incoming content and uses fixed thresholds to decide whether to auto-delete the content (classification) and whether to send it for human review (admission). This approach can be inefficient as it disregards the uncertainty in AI's estimation, the time-varying element of content arrivals and human review capacity, and the selective sampling in the online dataset (humans only review content filtered by the AI). In this paper, we introduce a model to capture such an AI-human interplay. In this model, the AI observes contextual information for incoming jobs, makes classification and admission decisions, and schedules admitted jobs for human review. During these reviews, humans observe a job's true cost and may overturn an erroneous AI classification decision. These reviews also serve as new data to train the AI but are delayed due to congestion in the human review system. The objective is to minimize the costs of eventually misclassified jobs. We propose a near-optimal learning algorithm that carefully balances the classification loss from a selectively sampled dataset, the idiosyncratic loss of non-reviewed jobs, and the delay loss of having congestion in the human review system. To the best of our knowledge, this is the first result for online learning in contextual queueing systems. Moreover, numerical experiments based on online comment datasets show that our algorithm can substantially reduce the number of misclassifications compared to existing content moderation practice.

연구 동기 및 목표

• 고정 임계값 기반 인간-AI 협업의 비효율성을 해결하기 위해, 무시된 불확실성, 시간에 따라 변하는 인간 능력, 선택적 샘플링의 영향을 고려한다.
• 피드백 지연이 수용 및 스케줄링 결정에 의해 내생적으로 결정되는 맥락 기반 대기열 시스템으로 인간-AI 상호작용을 모델링한다.
• 분류 손실, 검토되지 않은 게시물에 기인한 특이성 손실, 인간 검토 혼잡도에 기인한 지연 손실을 동시에 최적화하는 학습 알고리즘을 개발한다.
• 내생적 피드백 지연과 용량 제약이 존재하는 새로운 온라인 학습 환경에서 손실 최소화를 위한 이론적 보장을 제공한다.
• 기존 문헌에서 빈약한 부분이었던 소프트 용량 제약과 혼잡 효과를 포함한 학습-이관 프레임워크를 확장한다.

제안 방법

• 시간에 따라 변화하는 게시물 유형, 잠재적 해로운 비용, 인간 검토 대기열을 포함한 맥락 기반 대기열 시스템으로 콘텐츠 모니터링 과정을 수식화한다.
• AI의 결정을 분류(수락/거부), 수용(인간 대기열로 이관), 스케줄링(다음으로 검토할 게시물 선택)으로 모델링한다.
• 불확실성을 베이지안 스타일의 신뢰구간을 통해 반영하는 릿지 회귀와 신뢰집합을 사용하여 게시물의 진정한 해로운 정도를 추정한다.
• 세 가지 성분을 포함하는 손실 함수를 정의한다: 검토되지 않은 게시물의 분류 오차, 검토되지 않았지만 해로운 콘텐츠에 기인한 특이성 손실, 대기열 혼잡도에 기인한 지연 비용.
• 기대한 마진 복리 기반으로 우선순위를 정하는 스케줄링 정책을 도입하여, 대기열 내 긴급성과 불확실성을 균형 있게 조절한다.
• 집중 부등식과 행렬 행렬식의 경계를 활용하여 학습 알고리즘의 고확률 손실 한계를 유도한다.

실험 결과

연구 질문

• RQ1 인간 검토 능력이 제한적이고 변동성이 있는 상황에서, AI 시스템은 분류, 수용, 스케줄링 결정을 어떻게 최적화할 수 있는가?
• RQ2 수용 및 스케줄링 결정에 의해 유도되는 내생적 피드백 지연이 인간-AI 협업에서의 학습 성능에 미치는 영향은 무엇인가?
• RQ3 학습 데이터가 선택적으로 샘플링되며(단지 수용된 게시물만 검토됨), 피드백이 지연될 경우 학습 알고리즘이 손실을 최소화하는 방법은 무엇인가?
• RQ4 소프트 용량 제약이 존재하는 맥락 기반 대기열 시스템에서 온라인 학습에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 인간 검토 시스템의 혼잡도는 콘텐츠 모니터링에서 AI 모델의 장기적 성능과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 내생적 피드백 지연이 혼잡도로 인해 발생하는 상황에서 제안된 알고리즘은 근사 최적의 손실 한계 $ O(\sqrt{T \log T}) $ 를 달성한다.
• 불확실성 추정을 수용 및 스케줄링 결정에 통합함으로써 선택적 샘플링에 기인한 편향을 효과적으로 완화한다.
• 손실 함수에 포함된 지연 비용 성분은 고도의 혼잡 상황에서 성능 향상에 기여하여 검토되지 않은 해로운 게시물의 수를 감소시킨다.
• 이론적 분석을 통해 릿지 회귀를 통한 신뢰집합 구성 방식이 모델 잘못 설정과 노이즈 피드백에 대해 강건함을 입증한다.
• 실증적 검증을 통해 알고리즘이 고정 임계값 기반 베이스라인 대비 분류 정확도와 다양한 게시물 유형에 대한 공정성 측면에서 뛰어난 성능을 보였다.
• 이 프레임워크는 맥락 기반 대기열 시스템에서의 온라인 학습을 공식화한 최초의 사례로, 실시간 시스템에서 인간-AI 협업을 위한 새로운 분석 기반을 제공한다.