[논문 리뷰] When Large Language Models Meet Citation: A Survey

Yang Zhang, Yufei Wang외 6명|arXiv (Cornell University)|2023. 09. 18.

Topic Modeling인용 수 5

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Models, LLMs)과 인용 분석 간 상호 유익한 관계를 탐구하며, LLMs가 문맥 내 인용 분석 작업(예: 분류, 요약, 추천)을 향상시키는 방식과 동시에 인용 네트워크가 문서 간 관계와 지식 연결을 통해 LLM의 사전 훈련을 개선하는 방식을 보여준다. 주요 기여는 현재의 방법들을 종합적으로 분류하고 통합한 체계적인 분류 체계이며, 향후 연구 방향으로는 책임감 있는 LLM 개발, 소수 샘플 학습, 인용 지침 튜닝이 포함된다.

ABSTRACT

Citations in scholarly work serve the essential purpose of acknowledging and crediting the original sources of knowledge that have been incorporated or referenced. Depending on their surrounding textual context, these citations are used for different motivations and purposes. Large Language Models (LLMs) could be helpful in capturing these fine-grained citation information via the corresponding textual context, thereby enabling a better understanding towards the literature. Furthermore, these citations also establish connections among scientific papers, providing high-quality inter-document relationships and human-constructed knowledge. Such information could be incorporated into LLMs pre-training and improve the text representation in LLMs. Therefore, in this paper, we offer a preliminary review of the mutually beneficial relationship between LLMs and citation analysis. Specifically, we review the application of LLMs for in-text citation analysis tasks, including citation classification, citation-based summarization, and citation recommendation. We then summarize the research pertinent to leveraging citation linkage knowledge to improve text representations of LLMs via citation prediction, network structure information, and inter-document relationship. We finally provide an overview of these contemporary methods and put forth potential promising avenues in combining LLMs and citation analysis for further investigation.

연구 동기 및 목표

• LLMs가 문맥 내 인용 분석 작업(예: 분류, 요약, 추천)의 정확성과 깊이를 향상시키는 방식을 분석하기.
• 인용 네트워크와 문서 간 관계가 LLM의 사전 훈련 과정에서 텍스트 표현을 어떻게 향상시키는지 조사하기.
• 현재 연구의 격차를 파악하고 LLM과 인용 분석 통합을 위한 향후 연구 방향 제안하기.
• 인용 기반의 책임성과 지식 기반 접근을 통해 LLM의 윤리적 및 기술적 과제 해결하기.
• 지시 튜닝을 통한 통합을 통해 다양한 인용 관련 작업(예: 기능 분류, 감성 분석)을 단일 지시 기반 프레임워크로 통합하여 소수 샘플 일반화 능력 향상시키기.

제안 방법

• 인용 맥락 모델링을 위해 LLM을 인코더 전용(예: BERT), 디코더 전용(예: GPT), 인코더-디코더(예: T5) 아키텍처로 분류하기.
• 분류 및 요약 성능 향상을 위해 LLM을 활용해 인용 주변의 밀도 높은 맥락적 표현 추출하기.
• 인용 텍스트와 인용 그래프 구조(예: 공인용, 참조 네트워크)를 LLM 사전 훈련에 통합하여 지식 연결 강화하기.
• 다단계 지식 이해를 향상시키기 위해 인용 예측 및 네트워크 구조 정보를 훈련 신호로 활용하여 LLM의 이해력 향상시키기.
• 다양한 인용 작업(예: 기능 분류, 감성 분석)을 단일 지시 기반 프레임워크로 통합하기 위해 지시 튜닝을 적용하여 제로샷 일반화 능력 향상시키기.
• 텍스트 외에도 지식 그래프 및 소셜 미디어 링크를 포함하여 LLM 훈련 데이터 확장하여 맥락 이해력 향상시키기.

실험 결과

연구 질문

• RQ1 LLMs는 어떻게 문맥 내 인용 분석 작업(예: 분류, 요약, 추천)의 정확성과 깊이를 향상시킬 수 있는가?
• RQ2 인용 네트워크와 문서 간 관계는 LLM 사전 훈련 과정에서 텍스트 표현을 어떻게 향상시키며, 다단계 지식 이해를 어떻게 강화하는가?
• RQ3 현재 LLM이 제로샷 또는 소수 샘플 설정에서 인용 관련 작업을 처리하는 데 겪는 한계는 무엇인가?
• RQ4 인용 기반 지시 튜닝은 LLM의 다중 작업 학습 및 일반화 능력을 어떻게 향상시키는가?
• RQ5 학술 논문 외의 확장된 인용 네트워크(예: 지식 그래프, 소셜 미디어 콘텐츠 포함)는 더 견고하고 지식이 풍부한 LLM을 훈련시키는 데 어떤 역할을 할 수 있는가?

주요 결과

• LLMs는 복잡한 텍스트 맥락을 포괄함으로써 문맥 내 인용 분석 성능을 크게 향상시키며, 인용 분류 및 요약 작업에서 높은 품질의 결과를 도출한다.
• LLM 사전 훈련에 인용 네트워크를 통합하면 다단계 지식 이해 능력이 향상되고 정적 텍스트를 넘어서 텍스트 표현이 향상된다.
• 인용 예측 및 그래프 구조 정보는 LLM 사전 훈련을 안내하고 추론 능력을 향상시키는 효과적인 신호로 기능한다.
• 인용 관련 작업에 대한 지시 튜닝은 제로샷 및 소수 샘플 환경에서의 일반화 능력과 성능 향상에 기여한다.
• 지식 그래프 및 소셜 미디어 콘텐츠를 포함한 확장된 인용 네트워크의 도입은 LLM 훈련 데이터를 풍부하게 하고 더 넓은 맥락 이해를 지원한다.
• 기존 LLM은 인용 작업에서 강력한 소수 샘플 능력을 보이지만, 학술 코퍼스와 인용 전용 지시에 대해 피지컬 튜닝을 거치면 성능이 더욱 향상된다.