[論文レビュー] Large-Scale Text Analysis Using Generative Language Models: A Case Study in Discovering Public Value Expressions in AI Patents

Sergio Pelaez, Gaurav Verma+2 more|Research Explorer (The University of Manchester)|May 17, 2023

Computational and Text Analysis Methods被引用数 5

ひとこと要約

本稿では、GPT-4を用いて154,934件の米国AI特許から抽出された540万件の文における公共価値表現を同定する高品質なラベルと根拠を生成する、新規なフレームワークを提案する。このアプローチは、3クラス分類でF1スコア0.85、2クラス分類でF1スコア0.91を達成し、構造化されたプロンプトを用いた生成モデルが、最小限の人的労力でスケーラブルで正確かつ解釈可能な大規模な抽象的概念のテキスト分析を可能にすることを示している。

ABSTRACT

Labeling data is essential for training text classifiers but is often difficult to accomplish accurately, especially for complex and abstract concepts. Seeking an improved method, this paper employs a novel approach using a generative language model (GPT-4) to produce labels and rationales for large-scale text analysis. We apply this approach to the task of discovering public value expressions in US AI patents. We collect a database comprising 154,934 patent documents using an advanced Boolean query submitted to InnovationQ+. The results are merged with full patent text from the USPTO, resulting in 5.4 million sentences. We design a framework for identifying and labeling public value expressions in these AI patent sentences. A prompt for GPT-4 is developed which includes definitions, guidelines, examples, and rationales for text classification. We evaluate the quality of the labels and rationales produced by GPT-4 using BLEU scores and topic modeling and find that they are accurate, diverse, and faithful. These rationales also serve as a chain-of-thought for the model, a transparent mechanism for human verification, and support for human annotators to overcome cognitive limitations. We conclude that GPT-4 achieved a high-level of recognition of public value theory from our framework, which it also uses to discover unseen public value expressions. We use the labels produced by GPT-4 to train BERT-based classifiers and predict sentences on the entire database, achieving high F1 scores for the 3-class (0.85) and 2-class classification (0.91) tasks. We discuss the implications of our approach for conducting large-scale text analyses with complex and abstract concepts and suggest that, with careful framework design and interactive human oversight, generative language models can offer significant advantages in quality and in reduced time and costs for producing labels and rationales.

研究の動機と目的

• 大規模なテキストデータにおける『公共価値』のような複雑で抽象的な概念をラベル付けする課題に対処すること。
• 生成言語モデルを用いて、AI特許における公共価値表現をスケーラブルに同定する手法を開発すること。
• GPT-4が生成したラベルと根拠の品質および解釈可能性を人間による検証とモデルの透明性の観点から評価すること。
• GPT-4が生成したラベルを用いて、540万件の特許文のデータベース全体における大規模分類を実現するため、BERTベースの分類器を訓練すること。
• 生成モデルが、洗練された社会的概念を検出する際、正確性を維持しつつラベル付けのコストと時間を大幅に削減できることを実証すること。

提案手法

• 一貫性と解釈可能性を確保するため、定義、分類ガイドライン、例示されたアノテーション、根拠生成の指示を含むプロンプトをGPT-4用に設計した。
• このフレームワークは、米国特許商標局（USPTO）の全文データと統合した154,934件の米国AI特許データセットに適用され、540万件の文に拡張された。
• GPT-4は、公共価値表現の二値分類およびマルチクラス分類（3クラスおよび2クラス）の両方のラベルに加え、各分類意思決定を説明する詳細な根拠を生成した。
• ラベルの品質は、正確性、多様性、入力テキストへの忠実度を評価するため、BLEUスコアとトピックモデリングを用いて評価された。
• GPT-4が生成したラベルを用いて、全データセットにおける推論用にBERTベースの分類器を微調整した。
• モデル出力が公共価値理論およびドメイン固有の意味論と整合したままであることを保証するため、人間によるフィードバックループを導入した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4のような生成言語モデルは、大規模な特許テキストにおいて抽象的で曖昧な公共価値表現を信頼性高く同定できるか？
• RQ2 AI特許における公共価値コンテンツを分類する際、GPT-4が生成する根拠は、どれほど正確で多様性があるか？
• RQ3 GPT-4が生成したラベルは、大規模なテキスト分析に向けた高性能なBERTベース分類器の学習をどの程度支援できるか？
• RQ4 GPT-4が生成する根拠は、人間による監視とアノテーションのガイダンスのための透明で検証可能な思考の連鎖として機能できるか？
• RQ5 従来の人間によるアノテーションと比較して、生成モデルを用いた複雑で抽象的な概念のラベル付けは、スケーラビリティとコスト効率の面でどの程度優れているか？

主な発見

• GPT-4が生成したラベルは、3クラス分類タスクでF1スコア0.85、2クラス分類タスクでF1スコア0.91を達成し、公共価値表現の検出において優れた性能を示した。
• BLEUスコアとトピックモデリングによる評価を通じて、GPT-4が生成した根拠は高い忠実度と多様性を示し、モデルの解釈可能性を支援した。
• 生成された根拠は、透明な思考の連鎖として機能し、人間による検証を容易にし、アノテーターの認知的負荷を軽減した。
• GPT-4が生成したラベルを微調整対象として用いたBERT分類器は、全データセットにわたって良好に一般化され、大規模な推論を効率的に行った。
• このフレームワークは、ラベル付けの時間とコストを顕著に削減しながらも、高品質な出力を維持した。生成モデルを用いた抽象的概念の検出の実現可能性を示した。
• 慎重なプロンプト設計と人間の監視を組み合わせることで、生成モデルが複雑なテキスト分類タスクにおける手作業ラベル付けの代替手段としてスケーラブルで信頼性がある選択肢であることが確認された。