[논문 리뷰] Beyond Labels: Information-Efficient Human-in-the-Loop Learning using Ranking and Selection Queries

Belen Martin-Urcelay, Yoonsang Lee외 2명|arXiv (Cornell University)|2026. 02. 17.

Machine Learning and Algorithms인용 수 0

한 줄 요약

이 논문은 순위 및 예시 선택 질의를 활용한 정보가 풍부한 인간-개입 학습을 소개하며, 확률적 응답 모델, 베이지안 추론, 정보율 기반 질의 선택을 통해 샘플 복잡도와 주석 시간을 줄인다.

ABSTRACT

Integrating human expertise into machine learning systems often reduces the role of experts to labeling oracles, a paradigm that limits the amount of information exchanged and fails to capture the nuances of human judgment. We address this challenge by developing a human-in-the-loop framework to learn binary classifiers with rich query types, consisting of item ranking and exemplar selection. We first introduce probabilistic human response models for these rich queries motivated by the relationship experimentally observed between the perceived implicit score of an item and its distance to the unknown classifier. Using these models, we then design active learning algorithms that leverage the rich queries to increase the information gained per interaction. We provide theoretical bounds on sample complexity and develop a tractable and computationally efficient variational approximation. Through experiments with simulated annotators derived from crowdsourced word-sentiment and image-aesthetic datasets, we demonstrate significant reductions on sample complexity. We further extend active learning strategies to select queries that maximize information rate, explicitly balancing informational value against annotation cost. This algorithm in the word sentiment classification task reduces learning time by more than 57\% compared to traditional label-only active learning.

연구 동기 및 목표

• 이진 라벨을 넘어선 더 풍부한 인간 질의를 도입하여 전문적 판단의 뉘앙스를 포착하는 것을 동기화한다.
• 순위 및 예시 선택 질의에 대한 인간 응답의 확률적 모델을 개발한다.
• 주석 비용을 고려하면서 상호작용당 얻는 정보를 최대화하는 능동 학습 알고리즘을 설계한다.
• 고차원 임베딩에서 베이지안 업데이트를 실행하기 위한 해석 가능한 변분 방법을 제공한다.
• 샘플 효율성과 시간 비용에 대한 이론적 보장과 경험적 이득을 보여준다.

제안 방법

• 항목 임베딩과 실제 분류기 점수 사이의 선형 관계를 기반으로 순위 및 예시 선택 질의에 대한 인간 응답을 모델링한다.
• 주석가의 점수를 score(x)=a x^T theta + b + delta로 표현하고 Boltzmann/Plackett-Luce 계열 모델을 사용하여 질의 가능도를 도출한다.
• 비용 인식 정보율 목적을 가진, 기대 정보 이득을 최대화하도록 질의를 선택하는 온라인 능동 학습 알고리즘을 개발한다.
• 해석 가능한 근사 증거를 제공한다: theta에 대한 변분 가우시안 근사, 로그합 항에 대한 Jensen 경계, 닫힌 형태의 변분 업데이트를 갖는 BBVI에서 영감을 받은 업데이트.
• 아이템 세트 및 순위 질의 처리(q_high, q_low, q_rank) 및 해당 신념 업데이트(알고리즘 2–5)를 구현한다.
• 차원 d, 임베딩 크기, 정보 이득 L에 따라 기대 중단 시간이 스케일하는 샘플 복잡도 상한을 보이고, 가정하에 E[T_epsilon]가 정밀도epsilon에 대해 로그 증가하는 것을 확립한다.

실험 결과

연구 질문

• RQ1 더 풍부한 질의 유형(랭킹 및 예시 선택)이 인간-in-the-loop 학습에서 상호작용당 더 많은 정보를 제공할 수 있는가?
• RQ2 랭킹/예시 질의에 대한 인간 응답을 베이지안/정보 이론적 최적화에 적합한 방식으로 어떻게 모델링할 수 있는가?
• RQ3 풍부한 질의를 사용할 때의 이론적 샘플 복잡도 보장은 무엇이며, 임베딩 차원과 질의 유형이 중단 시간에 어떤 영향을 미치는가?
• RQ4 정보율 기반 질의 선택이 주석 시간을 줄이면서 학습 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 제안된 방법이 단어 감정 분석을 넘어 이미지 미학과 같은 다른 모달리티에 일반화되는가?

주요 결과

• 풍부한 질의가 상호작용당 더 많은 정보를 제공하여 시뮬레이션에서 인간 상호작용을 최대 85%까지 감소시킨다.
• 순위 질의는 최대 log2(|S|+1)! 비트를 정보로 제공할 수 있으며, 순위 기반 질문은 질의 선택 전략과 결합될 때 학습 시간을 줄인다.
• 비용 인지 정보율 목표는 주석 시간을 크게 줄이며, 단어 감정 작업에서 그 반으로도 감소시키는 효과 이상을 보인다.
• 변분 가우시안 근사는 고차원 임베딩 공간에서 해석 가능한 베이지안 업데이트를 가능하게 하며, 실용적인 학습 알고리즘을 제시한다.
• 이론적 상한은 중단 시간이 차원과 정보 이득에 비례하여 스케일하며, 이진 질의가 아닌 경우로의 이전 결과를 확장한다.
• 가상의 주석자를 사용한 단어 감정 분석 및 이미지 미학 작업의 실험은 상당한 샘플 효율성 개선과 시간 감소를 보여준다.