[論文レビュー] L2CU: Learning to Complement Unseen Users

Dileepa Pitawela, Gustavo Carneiro+1 more|arXiv (Cornell University)|Jan 3, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

L2CU は希薄でノイズの多いマルチレータデータからアノテータープロフィールを学習し、プロファイル別の協調モデルを訓練し、 unseen ユーザーをこれらのプロフィールにマッチさせて、グラウンドトゥルーラベルなしでの人間とAI の協調分類を改善します。

ABSTRACT

Recent research highlights the potential of machine learning models to learn to complement (L2C) human strengths; however, generalizing this capability to unseen users remains a significant challenge. Existing L2C methods oversimplify interaction between human and AI by relying on a single, global user model that neglects individual user variability, leading to suboptimal cooperative performance. Addressing this, we introduce L2CU, a novel L2C framework for human-AI cooperative classification with unseen users. Given sparse and noisy user annotations, L2CU identifies representative annotator profiles capturing distinct labeling patterns. By matching unseen users to these profiles, L2CU leverages profile-specific models to complement the user and achieve superior joint accuracy. We evaluate L2CU on datasets (CIFAR-10N, CIFAR-10H, Fashion-MNIST-H, Chaoyang and AgNews), demonstrating its effectiveness as a model-agnostic solution for improving human-AI cooperative classification.

研究の動機と目的

• sparse でノイズのあるラベルを用いた unseen ユーザーへ一般化する robust な人間—AI 協力を促進する。
• 代表的なアノテータープロフィールを特定し、異なるラベリングパターンを捉える。
• プロファイル別の協調モデルを訓練し、テスト時にユーザーをプロファイリングして適切なモデルを選択する。
• 画像とテキストデータセットを横断するモデルに依存しない適用性を示し、 alteration-rate 指標を導入する。

提案手法

• annotator プロフィールを各アノテーターのラベルベクターを構築し、 silhouette スコアを用いて K を選択する fuzzy K-means でクラスタリングする。
• 各プロフィールに対して、プロフィール特有のラベル遷移行列 T_k を推定し、新しいノイズ付きラベルをサンプリングして拡張訓練データを作成する。
• ベース特徴抽出器 f_psi_k、ヒューマンラベルエンコーダ h_phi_k、決定モデル d_zeta_k を組み合わせて joint ラベルを予測する、プロフィール特化型協調モデル m_theta_k を訓練する。
• テスト時には、新規ユーザーを小規模な検証セットとOVA SVM でプロファイリングし、対応するプロフィールを選択して推論には対応する協調モデルを使用する。
• 拡張されたノイズ付きラベルをコンセンサスラベルと整合させる forward-correction 項を伴う結合損失を用いて、ノイズ耐性を向上させる。
• データセット CIFAR-10N、CIFAR-10H、Fashion-MNIST-H、Chaoyang、AgNews（テキスト領域）に対してモデル非依存の L2CU を評価する。

Figure 1: Paradigms of Human-AI Cooperation with seen users in blue and unseen users in orange. L2D defers decisions to humans, evolving to handle both seen and unseen users. L2C complements human strengths, and L2CU (Ours) advances L2C to complement unseen users.

実験結果

リサーチクエスチョン

• RQ1 unseen ユーザーがアノテータのパターンから導出されたプロファイル別モデルを学習して補完することで効果的に補完できるか？
• RQ2 ノイズ付きラベルの拡張を伴うアノテータプロフィール設定が unseen ユーザーの人間-AI の結合精度を多様なドメインで改善するか？
• RQ3 グラウンドトゥルーラベルなしで unseen ユーザーに一般化でき、従来の L2D/L2C 手法を上回るモデル非依存の L2CU フレームワークは機能するか？
• RQ4 アノテータープロフィールが適応に与える影響は何か、プロファイリングの選択が性能にどう影響するか？
• RQ5 L2CU は画像およびテキスト領域の sparse multi-rater 設定でどのように機能するか？

主な発見

Method	CIFAR-10	CIFAR-10N	CIFAR-10H	Fashion-MNIST-H	Chaoyang	Std CIFAR-10	Std CIFAR-10N	Std CIFAR-10H	Std Fashion-MNIST-H	Std Chaoyang
L2CU (Ours)	0.968	0.989	0.993	0.878	0.991	± 0.002	± 0.001	± 0.002	± 0.008	± 0.004
MOE [predictResponsibly_madras]	-	0.831	0.812	0.600	0.583	-	-	-	-	-
CC [raghu19_triage]	-	0.970	0.971	0.801	0.863	-	-	-	-	-
CE [Mozannar2020_consistentest]	-	0.949	0.967	0.729	0.706	-	-	-	-	-
DifT [okati21DiffTriage]	-	0.940	0.944	0.704	0.765	-	-	-	-	-
OVA [Verma2022OVA]	-	0.959	0.974	0.794	0.845	-	-	-	-	-
WSP [Mozannar2023WSP]	-	0.948	0.976	0.775	0.872	-	-	-	-	-
L2D-Pop [l2d_2pop]	0.947	-	-	-	0.970	-	-	-	-	-
EA-L2D [ea_l2d]	0.820	-	-	-	-	-	-	-	-	-
LECOMH [l2cmh]	-	-	0.988	-	0.988	-	-	-	-	-
LECODU [l2cdmu]	0.951	-	0.989	-	0.990	-	-	-	-	-

• L2CU は seen ユーザーと unseen ユーザーの両方の複数データセットで一貫してベースラインを上回り、ポスト・オルテーション精度が高い。
• 実データのアノテーターデータセット（CIFAR-10N、CIFAR-10H、Fashion-MNIST-H）では、顕著な正の alteration 率とともにポスト・オルテーション精度が改善される。
• アノテータープロフィールは重要で、プロファイルを削除すると性能が劣化し、データセット全体で NI の数が増える。
• L2CU はノイズ率とバックボーンの選択に対して頑健で、画像とテキスト領域の両方で高い性能を維持する。
• アプローチはモデル非依存であり、 profiling とプロフィール選択のための小さな検証セットの利点を享受する。
• アブレーション研究は、各コンポーネント（ヒューマンラベルエンコーダと決定モデル）と拡張ハイパーパラメータ G がポスト・オルテーション精度を向上させることを示す。

Figure 2: Three step L2CU framework. 1) During training, from a sparse multi-rater dataset, unique annotator profiles are identified $(1,...,K)$ . Then, for each annotator profile, noisy label augmentation is performed and a AI cooperative model is trained. 2) During user profiling, a test user anno