[論文レビュー] When Large Language Models Meet Citation: A Survey

Yang Zhang, Yufei Wang+6 more|arXiv (Cornell University)|Sep 18, 2023

Topic Modeling被引用数 5

ひとこと要約

本サーベイは、大規模言語モデル（LLMs）と引用分析の相互利益的関係を調査し、LLMsが文中の引用タスク（分類、要約、推薦など）をどのように向上させるか、また引用ネットワークが文書間の関係性や知識連携を通じてLLMの事前学習をどのように改善するかを示している。主な貢献は、現在の手法を包括的に分類・統合した分類体系であり、今後の方向性として、責任あるLLMs、少数-shot学習、引用指向の指令チューニングが挙げられる。

ABSTRACT

Citations in scholarly work serve the essential purpose of acknowledging and crediting the original sources of knowledge that have been incorporated or referenced. Depending on their surrounding textual context, these citations are used for different motivations and purposes. Large Language Models (LLMs) could be helpful in capturing these fine-grained citation information via the corresponding textual context, thereby enabling a better understanding towards the literature. Furthermore, these citations also establish connections among scientific papers, providing high-quality inter-document relationships and human-constructed knowledge. Such information could be incorporated into LLMs pre-training and improve the text representation in LLMs. Therefore, in this paper, we offer a preliminary review of the mutually beneficial relationship between LLMs and citation analysis. Specifically, we review the application of LLMs for in-text citation analysis tasks, including citation classification, citation-based summarization, and citation recommendation. We then summarize the research pertinent to leveraging citation linkage knowledge to improve text representations of LLMs via citation prediction, network structure information, and inter-document relationship. We finally provide an overview of these contemporary methods and put forth potential promising avenues in combining LLMs and citation analysis for further investigation.

研究の動機と目的

• LLMsが文中の引用分析（分類、要約、推薦など）をどのように改善するかを検討すること。
• 引用ネットワークや文書間関係が、LLMの事前学習段階におけるテキスト表現をどのように向上させるかを調査すること。
• 現在の研究におけるギャップを特定し、LLMsと引用分析を統合するための今後の研究方向性を提案すること。
• 引用に基づく責任性と知識の根拠付けを通じて、LLMsの倫理的・技術的課題に対処すること。
• 指令チューニングを用いて多様な引用関連タスク（例：機能分類、センチメント分析）を統一した1つの指令ベースのフレームワークに統合し、少数-shot一般化を向上させること。

提案手法

• 引用文脈モデリングのため、LLMsをエンコーダーのみ（例：BERT）、デコーダーのみ（例：GPT）、エンコーダー・デコーダー（例：T5）アーキテクチャに分類する。
• LLMsを用いて、分類や要約の精度向上に寄与する、濃密で文脈に依存する引用周辺の表現を抽出する。
• 引用テキストと引用グラフ構造（例：共引用、参照ネットワーク）をLLMの事前学習に統合し、知識連携を強化する。
• 引用予測とネットワーク構造情報を利用し、LLMの多ステップ知識理解能力を向上させる訓練信号として活用する。
• 指令チューニングを適用し、引用タスク（例：機能分類、センチメント分析）を統一した1つの指令ベースのフレームワークに統合し、ゼロショット一般化性能を向上させる。
• LLMの学習データをテキストに限定せず、知識グラフやソーシャルメディアへのリンクを統合することで、文脈理解を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 LLMsをどのように活用すれば、分類、要約、推薦などの文中引用分析タスクの正確性と深さを向上させられるか？
• RQ2 引用ネットワークや文書間関係は、LLMの事前学習段階でどのようにテキスト表現を向上させ、多段階的知識理解を強化できるか？
• RQ3 特にゼロショットまたは少数-shot設定において、現在のLLMsが引用関連タスクを処理するにあたり抱える制限とは何か？
• RQ4 引用指向の指令チューニングは、LLMsにおけるマルチタスク学習と一般化能力をどのように向上させるか？
• RQ5 学術論文にとどまらない拡張された引用ネットワーク（例：知識グラフ、ソーシャルメディアコンテンツなど）は、より強固で知識豊富なLLMsの訓練にどのように寄与できるか？

主な発見

• LLMsは複雑なテクスト的文脈を捉えることで、文中引用分析の精度を著しく向上させ、引用分類や要約において高品質な結果を達成している。
• LLMの事前学習に引用ネットワークを統合することで、静的テキストを超えた多段階的知識理解とテキスト表現の向上が実現されている。
• 引用予測とグラフ構造情報は、LLMの事前学習をガイドする有効な信号として機能し、推論能力の向上に寄与している。
• 引用関連タスクの指令チューニングは、ゼロショットおよび少数-shot状況での一般化能力とパフォーマンスを向上させている。
• 知識グラフやソーシャルメディアコンテンツを含む拡張された引用ネットワークは、LLMの学習データを豊かにし、より広範な文脈理解を可能にしている。
• 現在のLLMsは引用タスクにおいて強い少数-shot能力を示しているが、学術コーパスおよび引用固有の指令で微調整することで、さらにパフォーマンスが向上する。