[論文レビュー] Utilising a Large Language Model to Annotate Subject Metadata: A Case Study in an Australian National Research Data Catalogue

Shiwei Zhang, Mingfang Wu+1 more|arXiv (Cornell University)|Oct 17, 2023

Research Data Management Practices被引用数 4

ひとこと要約

本論文では、オーストラリアの国立データカタログにおける研究データセットのトピックメタデータの自動アノテーションを、コンテキスト内学習プロンプトを用いたGPT-3.5の活用によって提案している。このアプローチは、トピック分類において有望なパフォーマンスを示したが、文脈情報が不十分なために分野特有の正確性に制限を受けており、この分野におけるコンテキスト内学習の自動メタデータアノテーションの最初の応用である。

ABSTRACT

In support of open and reproducible research, there has been a rapidly increasing number of datasets made available for research. As the availability of datasets increases, it becomes more important to have quality metadata for discovering and reusing them. Yet, it is a common issue that datasets often lack quality metadata due to limited resources for data curation. Meanwhile, technologies such as artificial intelligence and large language models (LLMs) are progressing rapidly. Recently, systems based on these technologies, such as ChatGPT, have demonstrated promising capabilities for certain data curation tasks. This paper proposes to leverage LLMs for cost-effective annotation of subject metadata through the LLM-based in-context learning. Our method employs GPT-3.5 with prompts designed for annotating subject metadata, demonstrating promising performance in automatic metadata annotation. However, models based on in-context learning cannot acquire discipline-specific rules, resulting in lower performance in several categories. This limitation arises from the limited contextual information available for subject inference. To the best of our knowledge, we are introducing, for the first time, an in-context learning method that harnesses large language models for automated subject metadata annotation.

研究の動機と目的

• 限られたキュレーションリソースによる研究データセットにおける低品質メタデータの増加という課題に対処するため。
• 大規模言語モデル（LLM）を活用して、費用対効果の高い自動トピックメタデータアノテーションの実現可能性を調査するため。
• 国立データカタログの文脈における研究データセットのトピック分類において、LLMを用いたコンテキスト内学習のパフォーマンスを評価するため。
• LLMベースのアノテーションの限界、特に文脈情報が不十分なために分野特有のルールを捉えきれない点を特定するため。

提案手法

• トピックメタデータアノテーションの基盤となるLLMとしてGPT-3.5を採用した。
• モデルがデータセットの分類カテゴリを割り当てるのを支援するため、タスク固有のプロンプトを設計した。
• 例示例（exemplars）を用いたFew-shotプロンプティングにより、ゼロショット一般化の性能を向上させた。
• 実世界のオーストラリア国立研究データカタログにおいて、LLMを用いてトピックメタデータをアノテートした。
• モデル出力結果を人間によるアノテーションの正解と比較して、正確性を測定し、失敗事例を同定した。
• 分野ごとのパフォーマンスのばらつきを分析し、分野特有の制限を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを用いたコンテキスト内学習が、研究データセットのトピックメタデータアノテーションを効果的に自動化できるか？
• RQ2 LLMベースのアノテーション手法のパフォーマンスは、データカタログ内の異なる学術分野でどのように変動するか？
• RQ3 コンテキスト内学習が分野特有のメタデータルールを捉える際に直面する主な制限は何か？
• RQ4 LLMは、国立研究データリポジトリにおける手動キュレーション作業をどの程度軽減できるか？
• RQ5 プロンプト内の文脈情報の質が、トピック分類の正確性にどのように影響するか？

主な発見

• LLMベースの手法は、多様な研究分野にわたる強力な一般化能力を示し、トピックメタデータアノテーションにおいて有望なパフォーマンスを達成した。
• 専門的またはニッチな学術分野では、プロンプト内の文脈的ヒントが不十分なためにパフォーマンスが低かった。
• モデルは分野特有のルールを学習することができず、これはコンテキスト内学習が複雑なメタデータタスクにおいて重要な制限であることを示している。
• 明確な言語的パターンを示す分類カテゴリでは、曖昧または重複する用語を含むものよりも高いアノテーション正確性を示した。
• このアプローチは、手作業によるキュレーション作業を顕著に削減し、大規模なメタデータ強化のスケーラブルな解決策を提供した。
• 本研究は、国立研究データインfraストラクチャにおいて、LLMを用いたコンテキスト内学習による自動トピックメタデータアノテーションの、知られている最初の応用を提示した。