[논문 리뷰] Representing the circular economy research landscape - a text analysis approach based on context specific noun phrase embeddings

Richter, Daniel, Baaden, Philipp|Fraunhofer-Publica (Fraunhofer-Gesellschaft)|2023. 01. 01.

Topic Modeling인용 수 83

한 줄 요약

(참고: 제공된 콘텐츠는 SciBERT, 과학 도메인 사전학습된 언어 모델에 해당합니다. 이 요약은 그 작업을 반영합니다.) SciBert 사전학습된 언어 모델은 대규모 도메인 내 말뭉치를 이용한 학습과 도메인 내 어휘 사용으로 BERT보다 여러 과학 NLP 태스크에서 성능을 향상시키며, 생의학, 컴퓨터 과학 및 다도메인 태스크에 걸친 여러 데이터셋에서 새로운 최첨단 성능을 달성합니다.

ABSTRACT

79

연구 동기 및 목표

• 과학 NLP에서 확장 가능하고 고품질의 주석 데이터 필요성을 동기화하고, 대규모 과학 말뭉치에서의 비지도 사전학습을 활용합니다.

제안 방법

• 두 가지 학습 목표(마스킹된 토큰 예측 및 다음 문장 예측)를 가진 BERT 아키텍처를 채택하되 과학 말뭉치에서 사전학습합니다.
• 도메인 특화 WordPiece 어휘를 생성하기 위해 SentencePiece로 SciVocab을 구성하여 30K 토큰의 어휘를 만듭니다.
• 고정된 SciBert 임베딩에 대한 태스크 특화 아키텍처의 파인튜닝과 임베딩을 고정된 채 맥락 특성으로 사용하는 것의 차이를 비교합니다.
• 다양한 데이터셋에서 NER, PICO 추출, 텍스트 분류, 관계 분류, 의존 구문 분석 등 핵심 NLP 태스크의 시험을 수행합니다.
• 도메인 내 어휘가 성능에 미치는 영향과 도메인 내 사전학습의 영향력을 분석합니다.

실험 결과

연구 질문

• RQ1 SciBert가 과학 텍스트에서 사전학습되었을 때 Bert-Base보다 과학 NLP 태스크에서 더 잘 작동합니까?
• RQ2 다운스트림 태스크에서 도메인 내 어휘(SciVocab) 대 원래의 BERT 어휘(BaseVocab)를 사용할 때의 영향은 어떠합니까?
• RQ3 파인튜닝이 고정 임베딩 위의 태스크 특화 아키텍처를 사용하는 것보다 과학 도메인 전반에서 유리합니까?
• RQ4 생의학, 컴퓨터 과학 및 다도메인 데이터셋에서 SciBert의 성능은 어떠합니까?

주요 결과

• SciBert는 파인튜닝 및 비파인튜닝 모두에서 과학 태스크에 대해 Bert-Base보다 우수한 성능을 보이며(논문에 보고된 평균 증가치).
• SciBert는 생의학 및 컴퓨터 과학 도메인의 여러 데이터셋에서 새로운 최첨단 성과를 달성합니다.
• 도메인 내 어휘(SciVocab)가 추가 이점을 제공하지만, 개선의 대다수는 도메인 특화 사전학습에서 비롯됩니다.
• 대부분의 데이터셋에서 고정 임베딩 위의 태스크 특화 아키텍처보다 파인튜닝이 더 큰 이점을 보여줍니다.
• SciBert는 다도메인 태스크에서 우수한 성능을 나타내며, BioBERT와 같은 특정 생의학 기반선보다 일부 데이터셋에서 근접하거나 우수한 성능을 보입니다.