[논문 리뷰] Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings

Malte Ostendorff, Nils Rethmeier외 3명|arXiv (Cornell University)|2022. 02. 14.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 인용 그래프 임베딩을 사용하여 연속적이고 충돌하지 않는 양성 및 음성 샘플을 생성하는 과학문서 표현을 위한 이웃 대비 학습 방법인 SciNCL을 제안한다. 인용 임베딩 공간에서 k-최근접 이웃에서 샘플링하여, 1%의 훈련 트리플릿만으로도 SciDocs 벤치마크에서 SOTA 성능(81.8 vs. SPECTER의 80.0)을 달성하며, 일반 도메인 LLM과 결합했을 때도 도메인 내 사전학습 모델을 능가한다.

ABSTRACT

Learning scientific document representations can be substantially improved through contrastive learning objectives, where the challenge lies in creating positive and negative training samples that encode the desired similarity semantics. Prior work relies on discrete citation relations to generate contrast samples. However, discrete citations enforce a hard cut-off to similarity. This is counter-intuitive to similarity-based learning, and ignores that scientific papers can be very similar despite lacking a direct citation - a core problem of finding related research. Instead, we use controlled nearest neighbor sampling over citation graph embeddings for contrastive learning. This control allows us to learn continuous similarity, to sample hard-to-learn negatives and positives, and also to avoid collisions between negative and positive samples by controlling the sampling margin between them. The resulting method SciNCL outperforms the state-of-the-art on the SciDocs benchmark. Furthermore, we demonstrate that it can train (or tune) models sample-efficiently, and that it can be combined with recent training-efficient methods. Perhaps surprisingly, even training a general-domain language model this way outperforms baselines pretrained in-domain.

연구 동기 및 목표

• 과학문서 표현에서 직접 인용이 초래하는 딱딱한 경계와 양성/음성 샘플 간 충돌 문제를 해결하기 위해, 이산적 인용 기반 대비 학습의 한계를 해결한다.
• 인용 그래프 임베딩에서 유도된 연속적 유사성 신호를 활용해 샘플 효율성과 표현 품질을 향상시킨다.
• 샘플링의 난이도를 제어하고 양성-음성 충돌을 방지하는 것이 과학 NLP 작업에서 도메인 내 사전학습보다 더 효과적임을 입증한다.
• 최소한의 데이터와 계산 자원으로도 일반 도메인 언어 모델의 효과적인 피니튜닝을 가능하게 하며, 단지 편향 파라미터만 업데이트하는 경우에도 성능을 확보한다.

제안 방법

• SciNCL은 이산적 인용 관계를 대체하기 위해 인용 그래프 임베딩을 연속적이고 무방향적인 유사성 신호로 사용하여 대비 학습 샘플을 생성한다.
• 양성 및 음성 샘플은 인용 임베딩 공간에서 k-최근접 이웃에서 선택되며, 충돌을 방지하기 위해 구성 가능한 마진을 적용한다.
• 이 방법은 유사한 논문(양성)은 임베딩 공간에서 가까이, 비슷하지 않은 논문(음성)은 멀리 떨어지도록 하는 대비 학습 목표를 활용한다.
• 하드 음성 샘플은 양성 클러스터 주변의 마진 영역에서 샘플링되어 도전적이지만 충돌하지 않는 것을 보장한다.
• 이 방법은 BERT-Base 및 BERT-Large와 같은 일반 도메인 모델을 포함한 어떤 사전학습 언어 모델과도 호환된다.
• 단지 1%의 트리플릿만 훈련하거나 BitFit(편향 항목만 훈련)를 사용함으로써 샘플 효율성을 확보하여 계산 비용을 크게 절감한다.

실험 결과

연구 질문

• RQ1 인용 그래프 임베딩에서 유도된 연속적 유사성 신호가 이산적 인용 관계보다 과학문서 표현 학습에 더 나은 성능을 내는가?
• RQ2 양성 및 음성 쌍 간의 샘플링 마진을 제어하면 성능 향상과 기울기 붕괴를 방지하는 데 효과적인가?
• RQ3 SciNCL이 단지 1%의 훈련 트리플릿이나 최소한의 파라미터 업데이트(예: BitFit)로도 SOTA 성능을 달성할 수 있는가?
• RQ4 SciNCL을 사용해 일반 도메인 언어 모델을 피니튜닝하는 것이 SPECTER와 같은 도메인 내 사전학습 모델보다 더 효과적인가?

주요 결과

• SciNCL은 SciDocs 벤치마크에서 81.8의 새로운 SOTA 점수를 기록하며 SPECTER의 80.0을 능가한다.
• 단지 1%의 훈련 트리플릿만으로도 80.8점을 기록하여 SPECTER 기준선보다 0.8점 높고, 일부 설정에선 오라클 트리플릿보다도 1.0점 높다.
• BitFit(파라미터의 0.1%만 훈련)를 사용했을 때 81.2점을 기록하여 높은 파라미터 효율성을 입증한다.
• 일반 도메인 BERT 모델을 SciNCL로 피니튜닝한 결과, 도메인 내 사전학습(예: SPECTER 포함)을 능가하며, 샘플 품질이 도메인 특화 사전학습보다 더 중요함을 시사한다.
• 훈련에 테스트 및 검증 논문을 제외한 경우에도 성능이 안정적으로 유지되어 데이터 泄漏 문제 없이 우수한 성능을 보인다.
• SciNCL의 성능 향상 요인은 주로 모델 아키텍처나 사전학습 데이터가 아닌 더 나은 샘플링 전략 덕분이다.