[論文レビュー] A Content-Based Novelty Measure for Scholarly Publications: A Proof of Concept

Haining Wang|arXiv (Cornell University)|Jan 8, 2024

scientometrics and bibliometrics research被引用数 4

ひとこと要約

本稿では、Wikipediaで事前学習された言語モデルからの驚き（surprisal）を用いて、学術論文の内容ベースの新規性測定法を提案する。新規性は、学術的議論の文脈に対して語の並びがどれほど「驚き」を伴うかとして定量化される。専門家が新規性を認めた論文において、統計的に有意に高い驚きが観察された（p = 0.005）。これにより、構造的妥当性が裏付けられ、スケールアップ可能な新規性評価のための解釈可能でオープンソースのツールが提供される。

ABSTRACT

Model Architecture GPT-2 124M Variant Number of Layers (n_layer): 12 Number of Attention Heads (n_head): 12 Embedding Size (n_embd): 768 Total Parameters: Approximately 124 million Dropout Rate: 0.0 (no dropout applied during training) Bias in LayerNorm and Linear Layers: Not used (bias = False) Refer to Radford et al. (2019) for details. Training Scheme Dataset The model utilizes the wikipedia_en dataset, which consists of English Wikipedia articles, with data up to the cutoff date of March 1, 2022, sourced from the Hugging Face datasets library (datasets.load_dataset("wikipedia", "20220301.en")). The version of datasets being used is 2.9.0. Tokenizer The specific encoding function used is tiktoken.get_encoding("gpt2"), which retrieves the tokenizer specific to GPT-2 and includes a vocabulary of 50,304 tokens. An end-of-text token (EOT), denoted by enc.eot_token (for example, 50,256 for GPT-2 BPE), is appended to each sequence of token IDs. The version of tiktoken being used is 0.2.0. Batch and Block Configuration Batch Size: 16 (micro-batch size) Block Size: 1,024 tokens Gradient Accumulation Steps: 5 Effective Total Batch Size: Approximately 327,680 tokens (16 * 1024 * 5 * 4 A100s) Optimizer (AdamW) Initial Learning Rate: 6e-4 Final Minimum Learning Rate: 6e-5 Weight Decay: 1e-1 Beta1: 0.9 Beta2: 0.95 Gradient Clipping Value: 1.0 Epsilon (eps): 1e-5 Learning Rate Decay Warmup Iterations: 2,000 Decay Iterations: 141,000 (aligned with max_iters) Training Iterations Maximum Iterations (max_iters): 141,000 Approximate Number of Epochs: 10 (totaling around 46 billion tokens) Evaluation Scheme Evaluation Interval: Every 1,000 iterations Number of Evaluation Iterations: 200 Other Dependencies For further details on other dependencies, refer to requirements.txt at https://github.com/Wang-Haining/noveval. References Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI Blog, 1(8), 9.

研究の動機と目的

• 学術的論文の新規性を自動的かつ解釈可能に測定する方法を、引用やキーワードに依存せず、内容レベルで開発すること。
• 科学的常識との整合性（顕在的妥当性）と専門家の判断との相関（構造的妥当性）を含めた妥当性の検証を行うこと。
• 情報理論的原則に基づき、論文の細分化されたセクションレベルでの新規性評価を可能にすること。
• 編集者、査読者、政策立案者らが学術的出力の新規性を評価できる再現可能でオープンソースのツールを提供すること。
• 科学的研究における新規性、創造性、多様性の関係を探索すること。

提案手法

• 本手法は、英語のWikipediaで事前学習されたGPT-2言語モデルを用い、原稿のテキストに含まれる各単語の確率を推定することで驚きを計算する。
• 驚きは、直前の文脈を前提とした各単語の負の対数確率として計算され、少なくとも256語の前文を条件とした1,024語のウィンドウ内で平均化される。
• モデルは原稿の要約と本文を連結したテキストに適用され、主に手法と結果のセクションに焦点を当て、新規性を評価する。
• 本測定法は、学術的言語の期待される分布からの逸脱として、特異な語の組み合わせを新規性として扱う。情報理論的アプローチを用いる。
• 構造的妥当性は、既知のグループ法を用いて検証され、分野の専門家が「新規性あり」と「通常」に一致して評価した論文間の平均驚きを比較する。
• 本手法の評価には、80件の著者特定コンペティションの作業メモから成るAVAデータセットが、実世界の学術的テキストを対象として用いられる。

実験結果

リサーチクエスチョン

• RQ1 一般のWikipediaテキストで事前学習された言語モデルからの驚きは、学術論文の内容ベースの新規性を信頼性高く測定できるか？
• RQ2 提案された測定法は、分野の専門家が新規性と判断した論文とそうでない論文を区別できる構造的妥当性を示すか？
• RQ3 この測定法は、新規性に関する科学的常識や専門家の直感をどの程度反映しているか？
• RQ4 驚きスコアの異常は、数学的記号、非形式的構文、物語の一貫性などのテクスト的特徴とどのように関係しているか？
• RQ5 この測定法は、研究論文の手法部や結果部に特化したセクションレベルでの新規性検出に適用可能か？

主な発見

• 分野の専門家が「新規性あり」と一致して評価した論文の平均驚きは、通常の論文よりも有意に高かった（p = 0.005）。これにより構造的妥当性が確認された。
• 片側 Welch のt検定により、t統計量は2.6を示し、新規性ありと判断された論文の驚き値が通常の論文よりも顕著に高いことが示された。
• 驚きスコアが5.0を超えた8件の論文は、専門家によって「あまり新規性がない」と判断された。分析の結果、過剰な数学的記号、非形式的構文、段階的進行の研究における物語の一貫性の欠如が、誤検出の原因であった。
• 本測定法は情報理論的基盤により解釈可能であり、語の予測可能性に基づく「驚き」の関数として直接理解可能である。
• 本手法は再現可能であり、github.com/Wang-Haining/noveval にて許可の緩いライセンスで公開されている。
• 本研究は、引用やキーワード、粗い知識単位に依存しない内容ベースの新規性測定の概念実証を確立した。