[논문 리뷰] Pretrained Domain-Specific Language Model for General Information Retrieval Tasks in the AEC Domain

Zhe Zheng, Xinzheng Lu외 3명|arXiv (Cornell University)|2022. 03. 09.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 건축, 토목, 건설(AEC) 분야의 일반적인 정보 검색(IR) 작업을 향상시키기 위해 도메인 특화 사전 훈련된 언어 모델을 제안한다. 독자적인 AEC 코퍼스를 도입하고 BERT 기반 모델을 미세조정하여, 기존의 단어 임베딩 모델보다 최대 10.1% 높은 F1 스코어를 달성하며, AEC 분야의 도메인 적응형 BERT의 우수성을 입증한다.

ABSTRACT

As an essential task for the architecture, engineering, and construction (AEC) industry, information retrieval (IR) from unstructured textual data based on natural language processing (NLP) is gaining increasing attention. Although various deep learning (DL) models for IR tasks have been investigated in the AEC domain, it is still unclear how domain corpora and domain-specific pretrained DL models can improve performance in various IR tasks. To this end, this work systematically explores the impacts of domain corpora and various transfer learning techniques on the performance of DL models for IR tasks and proposes a pretrained domain-specific language model for the AEC domain. First, both in-domain and close-domain corpora are developed. Then, two types of pretrained models, including traditional wording embedding models and BERT-based models, are pretrained based on various domain corpora and transfer learning strategies. Finally, several widely used DL models for IR tasks are further trained and tested based on various configurations and pretrained models. The result shows that domain corpora have opposite effects on traditional word embedding models for text classification and named entity recognition tasks but can further improve the performance of BERT-based models in all tasks. Meanwhile, BERT-based models dramatically outperform traditional methods in all IR tasks, with maximum improvements of 5.4% and 10.1% in the F1 score, respectively. This research contributes to the body of knowledge in two ways: 1) demonstrating the advantages of domain corpora and pretrained DL models and 2) opening the first domain-specific dataset and pretrained language model for the AEC domain, to the best of our knowledge. Thus, this work sheds light on the adoption and application of pretrained models in the AEC domain.

연구 동기 및 목표

• 도메인 특화 코퍼스와 전이 학습이 AEC 정보 검색을 위한 딥 러닝 모델에 미치는 영향을 조사하기 위해.
• 모델 사전 훈련을 지원하기 위해 AEC 분야의 종합적인 내부 도메인 및 근접 도메인 코퍼스를 개발하기 위해.
• 여러 가지 AEC 분야의 IR 작업에서 기존의 단어 임베딩 모델과 BERT 기반 모델을 평가하고 비교하기 위해.
• AEC 분야에서 공개 가능한 첫 번째 도메인 특화 데이터셋과 사전 훈련된 언어 모델을 배포하여 새로운 벤치마크를 설정하기 위해.

제안 방법

• 기술 문서, 보고서, 프로젝트 사양에서 구성된 대규모 내부 도메인 AEC 코퍼스 구축.
• AEC 외부이지만 관련된 기술 분야의 자료에서 근접 도메인 코퍼스를 생성하여 이식 가능성 평가.
• 마스크된 언어 모델링을 사용하여 도메인 특화 코퍼스에서 기존의 단어 임베딩 모델(예: Word2Vec, GloVe)과 BERT 기반 모델을 사전 훈련.
• 여러 가지 구성의 사전 훈련된 모델을 사용하여 다양한 하류 IR 모델(예: 텍스트 분류 및 명명된 실체 인식)의 미세조정.
• F1 스코어와 같은 표준 메트릭을 사용하여 여러 IR 작업에서 모델 성능 평가.
• 특성 기반 및 미세조정 전략을 포함한 전이 학습 기법을 적용하여 모델 일반화에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 도메인 특화 코퍼스는 AEC IR 작업에서 기존의 단어 임베딩 모델의 성능에 어떤 영향을 미치는가?
• RQ2 BERT 기반 모델은 AEC 텍스트 분류 및 명명된 실체 인식에서 기존 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 AEC 분야에서 도메인 특화 사전 훈련에 적용된 전이 학습 기법의 영향은 어떠한가?
• RQ4 사전 훈련 코퍼스의 크기와 도메인 관련성은 하류 IR 성능에 어떤 영향을 미치는가?
• RQ5 도메인 특화 사전 훈련된 언어 모델은 여러 AEC IR 작업에서 F1 스코어를 상당히 향상시킬 수 있는가?

주요 결과

• 도메인 특화 코퍼스는 모든 IR 작업에서 BERT 기반 모델의 성능을 향상시켰으며, 기준 모델 대비 최대 F1 스코어 향상률이 10.1%에 이르렀다.
• 기존의 단어 임베딩 모델은 도메인 코퍼스에서 훈련했을 때 텍스트 분류에서는 향상되었지만, 명명된 실체 인식에서는 성능 저하를 보였다.
• BERT 기반 모델은 텍스트 분류에서 최대 5.4% 향상되었고, 명명된 실체 인식에서는 최대 10.1% 향상되었으며, F1 스코어에서 기존 모델을 압도했다.
• 내부 도메인 코퍼스를 사전 훈련 단계에서 활용함으로써 BERT 모델의 성능 향상이 일관되게 발생했으며, 이는 전이 학습에서 도메인 특화 데이터의 가치를 입증한다.
• 제안된 도메인 특화 사전 훈련된 언어 모델은 여러 AEC IR 벤치마크에서 최고 성능을 기록하며, 그 효과성을 입증했다.