[論文レビュー] Fine-tuning BERT-based models for Plant Health Bulletin Classification

Shufan Jiang, Rafael Angarita+2 more|arXiv (Cornell University)|Jan 29, 2021

Advanced Text Analysis Techniques参考文献 6被引用数 4

ひとこと要約

本稿では、フランス語の植物保健便名（BSV）を害虫および病害虫のカテゴリに分類するため、マルチリンガル BERT および CamemBERT に基づく微調整手法を提案する。200件のサンプルデータセットを用いた実験で、バイオアグレッサー分類では85%、病害虫分類では82.5%の正解率を達成し、BERT が農業分野のテキストから意味的特徴を効果的に抽出でき、ソーシャルメディアのツイートのような多様なソースにも一般化可能であることが示された。

ABSTRACT

In the era of digitization, different actors in agriculture produce numerous data. Such data contains already latent historical knowledge in the domain. This knowledge enables us to precisely study natural hazards within global or local aspects, and then improve the risk prevention tasks and augment the yield, which helps to tackle the challenge of growing population and changing alimentary habits. In particular, French Plants Health Bulletins (BSV, for its name in French Bulletin de Sant{é} du V{é}g{é}tal) give information about the development stages of phytosanitary risks in agricultural production. However, they are written in natural language, thus, machines and human cannot exploit them as efficiently as it could be. Natural language processing (NLP) technologies aim to automatically process and analyze large amounts of natural language data. Since the 2010s, with the increases in computational power and parallelization, representation learning and deep learning methods became widespread in NLP. Recent advancements Bidirectional Encoder Representations from Transformers (BERT) inspire us to rethink of knowledge representation and natural language understanding in plant health management domain. The goal in this work is to propose a BERT-based approach to automatically classify the BSV to make their data easily indexable. We sampled 200 BSV to finetune the pretrained BERT language models and classify them as pest or/and disease and we show preliminary results.

研究の動機と目的

• フランス語の植物保健便名（BSV）の自動テキスト分類システムの開発を通じて、データのインデックス化および検索の改善を図ること。
• PestObserver などのルールベースのシステムと比較して、BERT ベースのモデルが BSV における植物防疫リスクを効果的に分類できるかどうかを評価すること。
• BSV で微調整された BERT モデルが、ソーシャルメディアのツイートのような非公式で多様なテキストデータに対しても、どの程度一般化可能であるかを評価すること。
• BERT が農業分野の自然言語データにおける潜在的な意味的関係をどのように表現できるかを検討すること。

提案手法

• フランス語 BSV の200件のサンプルデータセットを用い、バイオアグレッサーおよび病害虫タグを付与した文書に対して、マルチリンガル BERT および CamemBERT モデルを微調整した。
• モデルの入力品質を向上させるために、標点、URL、ストップワード、および繰り返しの空白を除去する前処理を BSV テキストに施した。
• ドメイン固有の概念に一致させるために、フランス語の CropUsage ディクショナリおよび既存の BSV タグを用いて、学習データをフィルタリングおよび統合した。
• 複数ラベル分類を実行するため、クロスエントロピー損失関数とソフトマックス活性化関数を適用し、1件の便名に対して複数のリスクカテゴリを予測した。
• 標準的な自然言語処理指標（正解率、適合率、再現率、F1スコア、ROC-AUC）を用いて、モデルの性能を評価した。
• 一般化能力のテストとして、BSV から抽出した概念をラベルとして用い、リアルタイムのソーシャルメディアのツイートに微調整済みモデルを適用した。

実験結果

リサーチクエスチョン

• RQ1 BERT ベースのモデルは、フランス語の植物保健便名に対して、害虫および病害虫の検出において高い分類性能を達成できるか？
• RQ2 PestObserver などのルールベースのシステムと比較して、微調整された BERT の性能は、BSV コンテンツの分類においてどの程度優れているか？
• RQ3 BSV で微調整された BERT モデルは、ソーシャルメディアのツイートのような非公式で多様なソースのリスク関連コンテンツをどの程度一般化して分類できるか？
• RQ4 BERT はキーワードマッチングをはるかに超えて、農業分野のテキストにおける潜在的な意味的関係を効果的に捉えることができるか？

主な発見

• 微調整済み BERT モデルは、BSV におけるバイオアグレッサー分類で85%の正解率を達成し、適合率62.96%、再現率89.47%を示した。
• 病害虫分類では、82.5%の正解率を達成し、適合率72.22%、再現率59.09%を記録した。
• 両クラスの加重F1スコアは0.65であり、不均衡なデータセットにおいてもバランスの取れた性能を示した。
• ROC-AUC スコアが0.9135であることは、特にポジティブクラスに対して優れた識別能力を有していることを示唆している。
• BSV から抽出したラベルを用いて、リアルタイムのツイートにおけるリスク関連コンテンツの分類に成功し、一般化の可能性を示した。
• 結果から、BERT ベースのモデルが、意味的複雑性をより効果的に捉え、手動でのアノテーション依存を減らす点で、ルールベースのシステムを上回っていることが示された。