[論文レビュー] Beyond Labels: Information-Efficient Human-in-the-Loop Learning using Ranking and Selection Queries

Belen Martin-Urcelay, Yoonsang Lee+2 more|arXiv (Cornell University)|Feb 17, 2026

Machine Learning and Algorithms被引用数 0

ひとこと要約

論文はランキングと標本選択クエリを用いた情報豊富な人間-in-ザ-ループ学習を導入し、確率的応答モデル、ベイズ推論、および情報レートに基づくクエリ選択を用いてサンプル複雑度とアノテーション時間を低減します。

ABSTRACT

Integrating human expertise into machine learning systems often reduces the role of experts to labeling oracles, a paradigm that limits the amount of information exchanged and fails to capture the nuances of human judgment. We address this challenge by developing a human-in-the-loop framework to learn binary classifiers with rich query types, consisting of item ranking and exemplar selection. We first introduce probabilistic human response models for these rich queries motivated by the relationship experimentally observed between the perceived implicit score of an item and its distance to the unknown classifier. Using these models, we then design active learning algorithms that leverage the rich queries to increase the information gained per interaction. We provide theoretical bounds on sample complexity and develop a tractable and computationally efficient variational approximation. Through experiments with simulated annotators derived from crowdsourced word-sentiment and image-aesthetic datasets, we demonstrate significant reductions on sample complexity. We further extend active learning strategies to select queries that maximize information rate, explicitly balancing informational value against annotation cost. This algorithm in the word sentiment classification task reduces learning time by more than 57\% compared to traditional label-only active learning.

研究の動機と目的

• バイナリラベルを超えて、専門家の判断のニュアンスを捉えるよりリッチな人間クエリへ進む動機づけ。
• ランキングおよび標本選択クエリに対する人間の応答を確率的にモデル化。
• アノテーションコストを考慮しつつ、相互作用あたりの情報獲得を最大化するアクティブ学習アルゴリズムを設計。
• 高次元埋め込みでのベイズ更新を実現する実用的な変分法を提供。
• 理論的保証とサンプル効率および時間コストの実証的向上を示す。

提案手法

• アイテム埋め込みと真の分類器スコアとの間のアファイン関係に基づいて、ランキングおよび標本選択クエリに対する人間の応答をモデル化。
• アノテータのスコアを score(x)=a x^T theta + b + delta と表現し、Boltzmann/Plackett-Luce型モデルを用いてクエリの尤度を導出。
• 期待情報獲得を最大化することでクエリを選択し、情報レートのコスト認識目的を持つオンラインのアクティブ学習アルゴリズムを開発。
• 計算可能な近似を提供：thetaの変分ガウス近似、対数和項の Jensen境界、閉形式の変分更新を用いたBBVI風更新。
• アイテム集合およびランキングクエリ処理（q_high, q_low, q_rank）とそれに対応する信念更新（アルゴリズム2–5）を実装。
• 期待停止時間が次元d、埋め込みサイズ、情報獲得Lとともにスケールするサンプル複雑度境界を証明し、前提の下でE[T_epsilon]が精度epsilonに対して対数的に増加することを確立。

実験結果

リサーチクエスチョン

• RQ1 リッチなクエリタイプ（ランキングおよび標本選択）が、従来のラベリングよりも相互作用あたり多くの情報を提供できるか。
• RQ2 ランキング/標本クエリに対する人間の応答をベイズ/情報理論最適化に適した形でモデル化するにはどうすればよいか。
• RQ3 リッチクエリを使用した場合の理論的サンプル複雑度保証は何か、埋め込み次元とクエリタイプが停止時間にどう影響するか。
• RQ4 情報レートに基づくクエリ選択がアノテーション時間を削減しつつ学習性能を維持・向上させるか。
• RQ5 提案手法は単語の感情分析を超えて画像美学など他のモダリティへ一般化できるか。

主な発見

• リッチなクエリは従来のラベリングより相互作用あたりの情報量を多く生み出し、シミュレーションで人間の相互作用を最大85%削減可能。
• ランキングクエリは情報量として log2(|S|+1)! ビットを提供でき、ランキングベースの質問はクエリ選択戦略と組み合わせると学習時間を短縮。
• コスト認識型情報レート目的はアノテーション時間を大幅に削減し、単語感情タスクではそれを半減以上に抑える。
• 変分ガウス近似は高次元の埋め込み空間でのベイズ更新を実現し、実用的な学習アルゴリズムをもたらす。
• 停止時間は次元と情報獲得に比例する理論境界を示し、非二値クエリへの適用拡張に寄与。
• simulatedアノテータを用いた単語感情および画像美学タスクの実験で、 substantial なサンプル効率向上と時間短縮を示す。