[論文レビュー] PEARL: Prototype-Enhanced Alignment for Label-Efficient Representation Learning with Deployment-Driven Insights from Digital Governance Communication Systems

Ruiyu Zhang, Lin Nie+3 more|arXiv (Cornell University)|Jan 24, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

PEARL は、ラベル効率の高い軽量なリファインメントで、埋め込みをクラスプロトタイプへと整列させ、ベースエンコーダを再学習させることなく局所的な近傍の品質を改善します。

ABSTRACT

In many deployed systems, new text inputs are handled by retrieving similar past cases, for example when routing and responding to citizen messages in digital governance platforms. When these systems fail, the problem is often not the language model itself, but that the nearest neighbors in the embedding space correspond to the wrong cases. Modern machine learning systems increasingly rely on fixed, high-dimensional embeddings produced by large pretrained models and sentence encoders. In real-world deployments, labels are scarce, domains shift over time, and retraining the base encoder is expensive or infeasible. As a result, downstream performance depends heavily on embedding geometry. Yet raw embeddings are often poorly aligned with the local neighborhood structure required by nearest-neighbor retrieval, similarity search, and lightweight classifiers that operate directly on embeddings. We propose PEARL (Prototype-Enhanced Aligned Representation Learning), a label-efficient approach that uses limited supervision to softly align embeddings toward class prototypes. The method reshapes local neighborhood geometry while preserving dimensionality and avoiding aggressive projection or collapse. Its aim is to bridge the gap between purely unsupervised post-processing, which offers limited and inconsistent gains, and fully supervised projections that require substantial labeled data. We evaluate PEARL under controlled label regimes ranging from extreme label scarcity to higher-label settings. In the label-scarce condition, PEARL substantially improves local neighborhood quality, yielding 25.7% gains over raw embeddings and more than 21.1% gains relative to strong unsupervised post-processing, precisely in the regime where similarity-based systems are most brittle.

研究の動機と目的

• ラベルが乏しく埋め込みが固定されたデジタルガバナンスにおける信頼できる検索とトリアージを動機付ける。
• 局所的な埋め込み近傍をクラスプロトタイプへ再形成しつつ次元性を保持する軽量なリファインメントを開発する。
• コサインベースの検索と下流の教師あり手法との互換性を確保する。
• 埋め込みの崩壊を防ぎつつ安定性を保ち、解釈性を維持するためにラベル効率をバランスさせる。

提案手法

• ラベル付き埋め込みの平均としてクラスプロトタイプを計算し正規化する。
• 次元性を保ちつつ近傍構造を改善する軽量リファインメント φ_θ を学習する。
• プロトタイプ整列のためのセントロイド投影ヘッドと訓練を安定化させる軽量分類器を用いる。
• 再構成（L_recon, L_full）、プロトタイプ整列（L_align）、プロトタイプコントラスト（L_contrast）、分類（L_cls）、直交正則化（L_ortho）を組み合わせた多項目損失を最適化する。
• 出力される拡張埋め込み tilde{x}=φ_θ(x) はコサイン検索と下流タスクに適したものとする。

Figure 1: Neighborhood geometry illustration. Raw embeddings can form overlapping neighborhoods, while PEARL reshapes local neighborhoods toward class prototypes to improve label-consistent retrieval under scarce supervision, without changing the embedding dimensionality.

実験結果

リサーチクエスチョン

• RQ1 限られたラベルデータをどのように活用して固定埋め込みの局所近傍幾何を再構成し、ラベル不足下の検索を改善できるか。
• RQ2 プロトタイプベースの整列は埋め込み空間の崩壊を起こさず早期検索の精度を改善できるか。
• RQ3 情報を保持しつつプロトタイプへ整列させる際の再構成と正則化の役割は何か。
• RQ4 ラベル予算が異なる場合、PEARL は教師なし後処理と完全監視投影と比較してどの程度性能を発揮するか。

主な発見

• PEARL は限られたラベルで近傍の品質を大幅に向上させ、未加工の埋め込みと比較して約25.7%の改善、およびラベル不足設定で強力な教師なし後処理と比較して約21.1%の改善を示す。
• ラベルが増えると完全監視投影が一部タスクでPEARLを上回ることもあるが、PEARL は最小限の監視で改善をもたらす堅牢な前処理手法として依然有効。
• PEARL は低ラベル領域で Hit@1 や MRR@K などの早期検索指標を改善し、検索優先のガバナンスワークフローにおける価値を示す。
• より高いラベル領域では LDA+L2 が一部指標で強くなる一方、PEARL は設定を問わず生データ埋め込みを常に上回る。