[논문 리뷰] PEARL: Prototype-Enhanced Alignment for Label-Efficient Representation Learning with Deployment-Driven Insights from Digital Governance Communication Systems

Ruiyu Zhang, Lin Nie외 3명|arXiv (Cornell University)|2026. 01. 24.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

PEARL은 재학습 없이 기본 인코더를 유지하면서 임베딩을 클래스 프로토타입에 맞춰 정렬해 로컬 이웃의 품질을 개선하는 가벼운 라벨 효율적 정제 방법을 제공합니다.

ABSTRACT

In many deployed systems, new text inputs are handled by retrieving similar past cases, for example when routing and responding to citizen messages in digital governance platforms. When these systems fail, the problem is often not the language model itself, but that the nearest neighbors in the embedding space correspond to the wrong cases. Modern machine learning systems increasingly rely on fixed, high-dimensional embeddings produced by large pretrained models and sentence encoders. In real-world deployments, labels are scarce, domains shift over time, and retraining the base encoder is expensive or infeasible. As a result, downstream performance depends heavily on embedding geometry. Yet raw embeddings are often poorly aligned with the local neighborhood structure required by nearest-neighbor retrieval, similarity search, and lightweight classifiers that operate directly on embeddings. We propose PEARL (Prototype-Enhanced Aligned Representation Learning), a label-efficient approach that uses limited supervision to softly align embeddings toward class prototypes. The method reshapes local neighborhood geometry while preserving dimensionality and avoiding aggressive projection or collapse. Its aim is to bridge the gap between purely unsupervised post-processing, which offers limited and inconsistent gains, and fully supervised projections that require substantial labeled data. We evaluate PEARL under controlled label regimes ranging from extreme label scarcity to higher-label settings. In the label-scarce condition, PEARL substantially improves local neighborhood quality, yielding 25.7% gains over raw embeddings and more than 21.1% gains relative to strong unsupervised post-processing, precisely in the regime where similarity-based systems are most brittle.

연구 동기 및 목표

• 라벨이 드물고 임베딩이 고정된 상태에서 신뢰할 수 있는 검색 및 분류를 촉진한다.
• 차원 수를 유지하면서 로컬 임베딩 이웃을 클래스 프로토타입으로 재구성하는 가벼운 정제를 개발한다.
• 코사인 기반 검색 및 다운스트림 감독 학습 방법과의 호환성을 보장한다.
• 임베딩 붕괴를 방지하고 해석 가능성을 유지하기 위해 라벨 효율성과 안정성의 균형을 맞춘다.

제안 방법

• 레이블링된 임베딩의 평균으로 클래스 프로토타입을 계산하고 이를 정규화한다.
• 차원 수를 보존하고 이웃 구조를 개선하는 가벼운 정제 phi_theta를 학습한다.
• 프로토타입 정렬을 위한 센트로이드 프로젝션 헤드와 학습 안정화를 위한 가벼운 분류기를 사용한다.
• 재구성(L_recon, L_full), 프로토타입 정렬(L_align), 프로토타입 대비(L_contrast), 분류(L_cls), 직교성 규제(L_ortho)를 결합한 다항 손실을 최적화한다.
• 향상된 임베딩 tilde{x}=phi_theta(x)를 코사인 검색 및 하류 작업에 적합하게 출력한다.

실험 결과

연구 질문

• RQ1 제한된 라벨 데이터로 고정된 임베딩의 로컬 이웃 기하를 재구성하여 라벨 부족 상황에서 검색을 향상시키려면 어떻게 할 수 있는가?
• RQ2 프로토타입 기반 정렬이 임베딩 공간 붕괴 없이 조기 검색 정밀도를 향상시킬 수 있는가?
• RQ3 정보를 보존하면서 프로토타입에 정렬하는 과정에서 재구성과 정규화의 역할은 무엇인가?
• RQ4 라벨 예산이 다양한 상황에서 PEARL은 비감독 후처리 및 완전 감독 프로젝션에 비해 어떻게 성능을 보이는가?

주요 결과

• 제한된 라벨로도 이웃 품질에서 상당한 이득을 얻으며, 예를 들어 원시 임베딩 대비 25.7%의 향상과 라벨이 적은 설정에서 강한 비감독 후처리 대비 21.1% 이상을 보인다.
• 라벨이 증가함에 따라 일부 작업에서 완전 감독 프로젝션이 PEARL을 능가할 수 있지만, PEARL은 최소 감독으로도 개선을 제공하는 견고한 전처리 단계로 남아 있다.
• 저레이블 구간에서 Hit@1 및 MRR@K 같은 조기 검색 지표를 개선하여 검색 우선 거버넌스 워크플로에 가치를 강조한다.
• 더 높은 라벨 구간에서 LDA+L2가 일부 지표에서 더 강해질 수 있는 반면, PEARL은 설정 전반에 걸쳐 원시 임베딩보다 꾸준히 우수한 성능을 보인다.