[논문 리뷰] Exploring New Frontiers in Agricultural NLP: Investigating the Potential of Large Language Models for Food Applications

Saed Rezayi, Zhengliang Liu외 9명|arXiv (Cornell University)|2023. 06. 20.

Culinary Culture and TourismAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 农业 텍스트 코퍼스에서부터 완전히 새로 pre-train된 BERT 기반 언어 모델인 AgriBERT를 소개하며, 음식 및 영양 데이터베이스 간 의미적 매칭과 요리 예측과 같은 음식 관련 NLP 작업에서 뛰어난 성능을 보임을 입증한다. AgriBERT는 일반 및 도메인 특화 모델을 능가하며, 요리 예측 작업에서 F1 스코어 79.63%를 기록하여 FoodOn 온톨로지 기반 외부 지식 통합을 통한 농업 NLP 응용 분야에서의 효과성을 입증한다.

ABSTRACT

This paper explores new frontiers in agricultural natural language processing by investigating the effectiveness of using food-related text corpora for pretraining transformer-based language models. In particular, we focus on the task of semantic matching, which involves establishing mappings between food descriptions and nutrition data. To accomplish this, we fine-tune a pre-trained transformer-based language model, AgriBERT, on this task, utilizing an external source of knowledge, such as the FoodOn ontology. To advance the field of agricultural NLP, we propose two new avenues of exploration: (1) utilizing GPT-based models as a baseline and (2) leveraging ChatGPT as an external source of knowledge. ChatGPT has shown to be a strong baseline in many NLP tasks, and we believe it has the potential to improve our model in the task of semantic matching and enhance our model's understanding of food-related concepts and relationships. Additionally, we experiment with other applications, such as cuisine prediction based on food ingredients, and expand the scope of our research to include other NLP tasks beyond semantic matching. Overall, this paper provides promising avenues for future research in this field, with potential implications for improving the performance of agricultural NLP applications.

연구 동기 및 목표

• 농업 및 음식 관련 NLP 작업에 특화된 도메인 전용 언어 모델을 개발하기 위해.
• 사전 훈련된 언어 모델을 활용하여 음식 기술서와 영양 데이터 간의 의미적 매칭을 향상시키기 위해.
• FoodOn 온톨로지에서 유래한 외부 지식을 통합함으로써 모델 성능을 향상시키는 데 효과가 있는지 평가하기 위해.
• GPT 기반 모델 및 ChatGPT를 농업 NLP 작업에서의 기준 모델 및 지식 소스로 탐색하기 위해.
• 의미적 매칭을 넘어서 요리 예측 및 성분 기반 분류와 같은 작업으로 AgriBERT의 적용 범위를 확장하기 위해.

제안 방법

• 국립농업도서관에서 120만 개의 문단과 농업 도서 및 일반 문학에서 530만 개의 문단을 포함한 대규모 농업 문헌 코퍼스에서 기반 BERT 모델인 AgriBERT를 완전히 새로 훈련한다.
• 음식 기술서와 영양 데이터 쌍을 사용하여 답변 선택 문제로 재구성함으로써 의미적 매칭 작업에 AgriBERT를 미세조정한다.
• FoodOn 지식 그래프에서 유래한 엔티티를 입력 텍스트에 통합하여 도메인 특화 지식을 주입함으로써 맥락 이해를 향상시킨다.
• 다양한 분류기들 간에 일반 목적(예: all-mpnet-base-v2) 및 다른 도메인 특화 모델(예: agri-sentence-transformer)과의 성능 비교를 통해 AgriBERT의 성능을 평가한다.
• Zero-shot 및 few-shot 프롬프팅을 사용하여 ChatGPT의 기준 모델 및 외부 지식 소스로서의 유용성을 탐색한다.
• 레시피 텍스트 분류 작업에 대해 AgriBERT를 요리 예측을 위해 미세조정하고, 다양한 분류기 간 성능을 비교한다.

Figure 1: The overall framework of AgriBERT which is trained on agriculture literature from scratch. AgriBERT is evaluated on the answer selection task. The answer selection component has two inputs: a question and an answer, and before we input them into the framework, we add new entities to them f

실험 결과

연구 질문

• RQ1 농업 텍스트에서 사전 훈련된 BERT 기반 언어 모델은 음식 및 영양 데이터베이스 간 의미적 매칭 작업에서 일반 모델 및 기존 도메인 특화 모델을 능가할 수 있는가?
• RQ2 FoodOn 온톨로지에서 유래한 외부 지식을 통합할 경우 AgriBERT의 의미적 매칭 작업 성능에 어떤 영향을 미치는가?
• RQ3 GPT 기반 모델인 ChatGPT는 농업 NLP 작업에서 효과적인 기준 모델 또는 지식 소스로 활용될 수 있는가?
• RQ4 AgriBERT는 의미적 매칭을 넘어서 요리 예측과 같은 작업으로 일반화되는가?
• RQ5 다양한 사전 훈련된 언어 모델은 후행 음식 관련 NLP 응용의 성능에 어떤 영향을 미치는가?

주요 결과

• AgriBERT는 모든 테스트된 분류기 중에서 요리 예측 작업에서 최고의 F1 스코어 79.63%를 기록하여 일반 목적 및 도메인 특화 모델을 모두 능가했다.
• FoodOn 지식 그래프에서 유래한 외부 엔티티 통합은 의미적 매칭 작업에서 P@1 지표를 향상시켰지만 평균 평균 정밀도(Mean Average Precision) 성능은 감소시켜 평가 지표 간의 상충 관계를 보였다.
• AgriBERT는 요리 예측 작업에서 모든 다른 모델, 심지어 최신 기술인 all-mpnet-base-v2까지도 일관되게 뛰어나 성능을 보이며, 강건성과 도메인 특화 효과성을 입증했다.
• TF-IDF 기준 모델은 MLP에서는 F1 스코어 70.76%를 기록했지만 다른 분류기에서는 성능이 열악하여 다양한 모델 간 일반화 능력이 제한됨을 시사했다.
• agri-sentence-transformer는 SVM에서 F1 스코어 65.87%를 기록하여 도메인 특화 적응이 도움이 되지만 AgriBERT의 성능에는 미치지 못함을 보였다.
• ChatGPT는 뛀난 기준 모델 성능을 보이며, 향후 농업 NLP 응용 분야에서 지식 소스로의 잠재력을 시사했다.