[論文レビュー] Pretrained Domain-Specific Language Model for General Information Retrieval Tasks in the AEC Domain

Zhe Zheng, Xinzheng Lu+3 more|arXiv (Cornell University)|Mar 9, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、建築・エンジニアリング・コンストラクション（AEC）分野向けにドメイン特化型事前学習言語モデルを提案し、一般情報検索（IR）タスクの性能向上を図る。独自に構築したAECコーパスを用いてBERTベースのモデルを微調整し、従来の単語埋め込みモデルと比較して最大10.1%高いF1スコアを達成した。ドメイン適応型BERTの優位性が示された。

ABSTRACT

As an essential task for the architecture, engineering, and construction (AEC) industry, information retrieval (IR) from unstructured textual data based on natural language processing (NLP) is gaining increasing attention. Although various deep learning (DL) models for IR tasks have been investigated in the AEC domain, it is still unclear how domain corpora and domain-specific pretrained DL models can improve performance in various IR tasks. To this end, this work systematically explores the impacts of domain corpora and various transfer learning techniques on the performance of DL models for IR tasks and proposes a pretrained domain-specific language model for the AEC domain. First, both in-domain and close-domain corpora are developed. Then, two types of pretrained models, including traditional wording embedding models and BERT-based models, are pretrained based on various domain corpora and transfer learning strategies. Finally, several widely used DL models for IR tasks are further trained and tested based on various configurations and pretrained models. The result shows that domain corpora have opposite effects on traditional word embedding models for text classification and named entity recognition tasks but can further improve the performance of BERT-based models in all tasks. Meanwhile, BERT-based models dramatically outperform traditional methods in all IR tasks, with maximum improvements of 5.4% and 10.1% in the F1 score, respectively. This research contributes to the body of knowledge in two ways: 1) demonstrating the advantages of domain corpora and pretrained DL models and 2) opening the first domain-specific dataset and pretrained language model for the AEC domain, to the best of our knowledge. Thus, this work sheds light on the adoption and application of pretrained models in the AEC domain.

研究の動機と目的

• ドメイン特化コーパスおよびトランスファー学習がAEC分野の情報検索向けディープラーニングモデルに与える影響を調査すること。
• モデル事前学習を支援するため、包括的かつドメインに特化したAECコーパス（インドメインおよびクローズドメイン）を構築すること。
• 複数のAEC分野のIRタスクにおいて、従来の単語埋め込みモデルとBERTベースのモデルを評価・比較すること。
• AEC分野で初めて公開可能なドメイン特化型データセットおよび事前学習言語モデルをリリースすることで、新たなベンチマークを確立すること。

提案手法

• 技術文書、報告書、プロジェクト仕様書から構成される大規模なインドメインAECコーパスの構築。
• AECとは関連はあるが非AEC分野の技術的文書からなるクローズドドメインコーパスの作成。これにより、移譲性の評価が可能となる。
• マスクド言語モデルを用いて、ドメイン特化コーパス上で従来の単語埋め込みモデル（例：Word2Vec、GloVe）およびBERTベースのモデルの事前学習を実施。
• さまざまな設定の事前学習モデルを用いて、複数の下流IRモデル（例：テキスト分類および名前付きエンティティ認識）の微調整を実施。
• F1スコアなどの標準指標を用いて、複数のIRタスクにおけるモデル性能を評価。
• 特徴ベースおよび微調整アプローチを含むトランスファー学習戦略の適用により、モデルの一般化性能への影響を評価。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化コーパスは、AEC分野のIRタスクにおける従来の単語埋め込みモデルの性能にどのように影響を与えるか？
• RQ2 BERTベースのモデルは、AEC分野のテキスト分類および名前付きエンティティ認識において、従来モデルをどの程度上回るか？
• RQ3 AEC分野におけるドメイン特化事前学習にトランスファー学習技術を適用した際の影響は何か？
• RQ4 事前学習コーパスのサイズおよびドメイン関連性は、下流IRタスクのパフォーマンスにどのように影響を与えるか？
• RQ5 ドメイン特化型事前学習言語モデルは、複数のAEC分野IRタスクにおいてF1スコアを顕著に向上させることができるか？

主な発見

• ドメイン特化コーパスを用いることで、BERTベースのモデルはすべてのIRタスクで性能向上を達成。ベースラインモデルと比較して最大10.1%のF1スコア向上を実現。
• 従来の単語埋め込みモデルは、ドメインコーパスで学習させた場合、テキスト分類では向上を示したが、名前付きエンティティ認識では性能低下を示した。
• テキスト分類ではBERTベースのモデルが従来モデルを最大5.4%上回り、名前付きエンティティ認識では最大10.1%のF1スコア向上を達成。
• インドメインコーパスを事前学習段階で使用することで、BERTモデルの性能が一貫して向上した。これは、トランスファー学習におけるドメイン特化データの価値を示している。
• 提案されたドメイン特化型事前学習言語モデルは、複数のAEC分野IRベンチマークで最先端のパフォーマンスを達成。有効性が裏付けられた。