[論文レビュー] Exploring New Frontiers in Agricultural NLP: Investigating the Potential of Large Language Models for Food Applications

Saed Rezayi, Zhengliang Liu+9 more|arXiv (Cornell University)|Jun 20, 2023

Culinary Culture and TourismAgricultural and Biological Sciences被引用数 3

ひとこと要約

この論文では、農業関連のテキストコーパスから完全に事前学習されたBERTベースの言語モデル、AgriBERTを紹介しており、食品関連自然言語処理タスク、特に食品と栄養データベース間の意味的マッチングや料理分類予測において優れた性能を示している。AgriBERTは汎用的およびドメイン特化型モデルを上回り、料理分類予測で79.63%のF1スコアを達成しており、FoodOnオントロジーを介した外部知識統合による農業分野向けNLP応用への有効性が示された。

ABSTRACT

This paper explores new frontiers in agricultural natural language processing by investigating the effectiveness of using food-related text corpora for pretraining transformer-based language models. In particular, we focus on the task of semantic matching, which involves establishing mappings between food descriptions and nutrition data. To accomplish this, we fine-tune a pre-trained transformer-based language model, AgriBERT, on this task, utilizing an external source of knowledge, such as the FoodOn ontology. To advance the field of agricultural NLP, we propose two new avenues of exploration: (1) utilizing GPT-based models as a baseline and (2) leveraging ChatGPT as an external source of knowledge. ChatGPT has shown to be a strong baseline in many NLP tasks, and we believe it has the potential to improve our model in the task of semantic matching and enhance our model's understanding of food-related concepts and relationships. Additionally, we experiment with other applications, such as cuisine prediction based on food ingredients, and expand the scope of our research to include other NLP tasks beyond semantic matching. Overall, this paper provides promising avenues for future research in this field, with potential implications for improving the performance of agricultural NLP applications.

研究の動機と目的

• 農業および食品関連の自然言語処理タスクに特化したドメイン特化型言語モデルの開発を目的とする。
• 事前学習された言語モデルを用いて、食品記述と栄養データ間の意味的マッチングを改善することを目的とする。
• FoodOnオントロジーからの外部知識統合がモデル性能に与える影響を評価することを目的とする。
• GPTベースのモデルやChatGPTを、農業分野のNLPタスクにおけるベースラインおよび知識源としての可能性を検討することを目的とする。
• 意味的マッチングを越えて、料理分類や原材料ベースの分類といったタスクへAgriBERTの応用範囲を拡大することを目的とする。

提案手法

• 国立農業図書館の120万段落と、農業関連書籍および一般文学からなる530万段落の大量の農業文献コーパスを用いて、完全に事前学習されたBERTベースのモデル、AgriBERTを訓練する。
• 食品記述と栄養データペアを用いて、意味的マッチングタスクを回答選択問題に再定式化することで、AgriBERTを微調整する。
• FoodOn知識グラフからのエンティティを入力テキストに統合し、ドメイン固有の知識を注入することで、文脈理解を向上させる。
• 複数の分類器を用いて、汎用モデル（例：all-mpnet-base-v2）および他のドメイン特化型モデル（例：agri-sentence-transformer）と比較して、AgriBERTの性能を評価する。
• ChatGPTを用いてゼロショットおよびフェイントショットプロンプティングを実施し、食品関連NLPタスクにおけるベースラインおよび外部知識源としての有効性を検討する。
• レシピテキスト分類タスクにAgriBERTを微調整することで、料理分類予測に応用し、複数の分類器間での性能を比較する。

Figure 1: The overall framework of AgriBERT which is trained on agriculture literature from scratch. AgriBERT is evaluated on the answer selection task. The answer selection component has two inputs: a question and an answer, and before we input them into the framework, we add new entities to them f

実験結果

リサーチクエスチョン

• RQ1 農業テキストで事前学習されたBERTベースの言語モデルは、一般および既存のドメイン特化型モデルを上回り、食品と栄養データベース間の意味的マッチングにおいて優れた性能を示せるか？
• RQ2 FoodOnオントロジーからの外部知識統合は、AgriBERTの意味的マッチングタスクにおける性能にどのように影響するか？
• RQ3 GPTベースのモデル、たとえばChatGPTは、農業分野のNLPタスクにおいて効果的なベースラインまたは知識源として十分に機能できるか？
• RQ4 AgriBERTは意味的マッチングを越えて、特に料理分類予測のようなタスクにおいても一般化性能を示せるか？
• RQ5 異なる事前学習言語モデルが、下流の食品関連NLPアプリケーションの性能に与える影響は何か？

主な発見

• AgriBERTは、全テスト分類器において最高のF1スコア79.63%を達成し、汎用モデルおよびドメイン特化型モデルを上回った。
• FoodOn知識グラフからの外部エンティティの統合により、意味的マッチングタスクにおけるP@1指標は向上したが、平均平均精度（mean average precision）は低下した。これは評価指標のトレードオフを示している。
• AgriBERTは、料理分類予測において、全分類器で他のすべてのモデル、包括して最先端のall-mpnet-base-v2を上回り、その頑健性とドメイン特化型の有効性を示した。
• TF-IDFベースラインはMLPではF1スコア70.76%を達成したが、他の分類器では性能が低く、モデル間での一般化能力に限界があることを示した。
• agri-sentence-transformerはSVMでF1スコア65.87%を達成し、ドメイン特化型の適応は有効であるが、AgriBERTの性能には及ばないことが明らかになった。
• ChatGPTは優れたベースライン性能を示し、今後の農業分野のNLPアプリケーションにおける知識源としての可能性を示唆した。