[论文解读] Beyond Labels: Information-Efficient Human-in-the-Loop Learning using Ranking and Selection Queries

Belen Martin-Urcelay, Yoonsang Lee+2 more|arXiv (Cornell University)|Feb 17, 2026

Machine Learning and Algorithms被引用 0

一句话总结

论文引入信息丰富的带人类参与的学习，使用排序和示例选择查询，结合概率响应模型、贝叶斯推断和基于信息率的查询选择，以降低样本复杂性和标注时间。

ABSTRACT

Integrating human expertise into machine learning systems often reduces the role of experts to labeling oracles, a paradigm that limits the amount of information exchanged and fails to capture the nuances of human judgment. We address this challenge by developing a human-in-the-loop framework to learn binary classifiers with rich query types, consisting of item ranking and exemplar selection. We first introduce probabilistic human response models for these rich queries motivated by the relationship experimentally observed between the perceived implicit score of an item and its distance to the unknown classifier. Using these models, we then design active learning algorithms that leverage the rich queries to increase the information gained per interaction. We provide theoretical bounds on sample complexity and develop a tractable and computationally efficient variational approximation. Through experiments with simulated annotators derived from crowdsourced word-sentiment and image-aesthetic datasets, we demonstrate significant reductions on sample complexity. We further extend active learning strategies to select queries that maximize information rate, explicitly balancing informational value against annotation cost. This algorithm in the word sentiment classification task reduces learning time by more than 57\% compared to traditional label-only active learning.

研究动机与目标

• 推动超越二元标签，收集更丰富的人类查询以捕捉细致的专家判断。
• 建立对 ranking 与 exemplar-selection 查询的人类响应的概率模型。
• 设计主动学习算法，在考虑标注成本的同时最大化每次交互带来的信息增益。
• 提供在高维嵌入空间中进行贝叶斯更新的可行变分方法。
• 展示理论保证与在样本效率和时间成本上的经验收益。

提出的方法

• 基于项嵌入与真实分类器分数之间的线性关系，建模 ranking 与 exemplar-selection 查询的人类响应。
• 用 score(x)=a x^T theta + b + delta 表示 annotator 的分数，并使用 Boltzmann/Plackett-Luce 型模型推导查询似然。
• 开发在线主动学习算法，通过最大化期望信息增益并结合成本感知的信息率目标来选择查询。
• 提供可行的近似：theta 的变分高斯近似、对对数求和项的 Jensen 下界，以及带有封闭形式变分更新的 BBVI 启发更新。
• 实现项集合与排序查询处理（q_high, q_low, q_rank）及相应的信念更新（算法 2–5）。
• 证明样本复杂度界限，表明期望停止时间与维度 d、嵌入大小和信息增益 L 相关，并在给定假设下证明 E[T_epsilon] 对精度 epsilon 成对数增长。

实验结果

研究问题

• RQ1 更丰富的查询类型（排序与示例选择）是否在交互中提供比二元标注更丰富的信息？
• RQ2 如何以对贝叶斯/信息理论优化友好的方式建模对排序/示例查询的人类响应？
• RQ3 在使用丰富查询时，理论上的样本复杂度保证是什么，嵌入维度和查询类型如何影响停止时间？
• RQ4 信息率基于查询选择是否在保持或提升学习性能的同时减少标注时间？
• RQ5 所提出的方法是否能从词语情感扩展到图像美学等其他模态？

主要发现

• 丰富的查询在每次交互中提供比传统标注更多的信息，在模拟中实现了高达 85% 的人类交互减少。
• 排序查询可提供多达 log2(|S|+1)! 比特的信息，当与查询选择策略结合时，排序相关问题可缩短学习时间。
• 带成本感知的信息率目标显著减少标注时间，在词语情感任务中甚至超过一半的时间缩减。
• 变分高斯近似使高维嵌入空间中的贝叶斯更新可行，形成实用的学习算法。
• 理论界限显示停止时间随维度和信息增益而变化，并将非二元查询的前性结果扩展。
• 在词语情感和图像美学任务上进行的带模拟标注者的实验，显示出显著的样本效率提升和时间缩减。