[논문 리뷰] Automatic Related Work Generation: A Meta Study

Xiangci Li, Jessica Ouyang|arXiv (Cornell University)|2022. 01. 06.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

이 메타연구는 과학적 NLP 분야에서 자동 관련 작업 생성에 대해 문제 정의, 데이터셋, 방법론, 평가 방식을 종합적으로 평가하며, 표준화 부족, 문장 수준 단위 의존, 사실성 문제, 분야 범위 제한 등의 주요 과제를 밝혀내고, 지식 기반의 다중문서 모델링과 표준화된 벤치마크를 통해 현재의 어휘 중심, 좁은 범위의 시스템을 넘어선 분야 발전을 주장한다.

ABSTRACT

Academic research is an exploration activity to solve problems that have never been resolved before. By this nature, each academic research work is required to perform a literature review to distinguish its novelties that have not been addressed by prior works. In natural language processing, this literature review is usually conducted under the "Related Work" section. The task of automatic related work generation aims to automatically generate the "Related Work" section given the rest of the research paper and a list of cited papers. Although this task was proposed over 10 years ago, it received little attention until very recently, when it was cast as a variant of the scientific multi-document summarization problem. However, even today, the problems of automatic related work and citation text generation are not yet standardized. In this survey, we conduct a meta-study to compare the existing literature on related work generation from the perspectives of problem formulation, dataset collection, methodological approach, performance evaluation, and future prospects to provide the reader insight into the progress of the state-of-the-art studies, as well as and how future studies can be conducted. We also survey relevant fields of study that we suggest future work to consider integrating.

연구 동기 및 목표

• 과학적 NLP 분야에서 자동 관련 작업 생성에 대한 기존 접근 방식을 종합적이고 비교적으로 분석하기 위해.
• 이전 연구들 사이에서 문제 정의, 데이터셋 구축, 평가 관행에 대한 핵심적 격차와 일관성 없는 점을 규명하기 위해.
• 문장 수준 단위나 개요 등 부분적인 논문 표현에 대한 과도한 의존과 같은 방법론적 한계를 부각하기 위해.
• 작업 정의, 평가 지표, 공유 벤치마크에 대한 표준화 부족 문제를 다루기 위해.
• 외부 지식 통합, 사실성 향상, 그리고 계산 언어학 분야를 넘어선 영역 확장 촉진을 주장하기 위해.

제안 방법

• 최근 10개 이상의 자동 관련 작업 생성 관련 연구를 문제 정의, 데이터 수집, 방법론, 평가, 향후 방향성 측면에서 비교하는 메타연구를 수행한다.
• 신경 시퀀스 모델, 다중문서 인코더, 인용 네트워크 및 논의 신호 통합 등 방법론적 접근을 분석한다.
• 자동 평가 지표(예: ROUGE)를 사용해 성능을 평가하며, 사실성과 논리적 일관성에 대한 인간 평가 부족을 지적한다.
• 수동 및 자동 기법을 융합하여 효율성과 품질을 향상시키는 데이터 수집 향상 프레임워크를 제안한다.
• 인용 기능 레이블, 중요도 점수, 지식 기반 등 외부 감독 신호를 통합하여 사실 일관성을 향상시키기 위한 권고를 제시한다.
• 전체 논문 표현을 모델링하고, 논리적, 사실적, 간결한 전체 관련 작업 섹션을 생성하는 엔드 투 엔드 시스템 개발의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 기존 연구들은 자동 관련 작업 생성 작업을 어떻게 다른 방식으로 정의하고 있는가?
• RQ2 주요 데이터 수집 전략는 무엇이며, 이는 모델의 일반화 및 평가에 어떤 영향을 미치는가?
• RQ3 현재의 방법론이 문장 수준 단위나 요약만을 기반으로 하는 단순한 가정에 얼마나 의존하고 있는가?
• RQ4 현재의 평가 관행은 사실 일관성, 논리적 일관성, 정보성 측정에 얼마나 효과적인가?
• RQ5 외부 지식, 인용 네트워크, 논의 분석이 생성된 관련 작업 섹션의 품질 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 대부분의 연구가 요약이나 결론을 전체 논문의 대체로 사용함으로써 인용된 논문의 표현을 단순화하고 성능을 제한한다.
• 대부분의 시스템이 문장 수준을 생성의 기본 단위로 간주하지만, 인용 맥락이 종종 여러 문장에 걸쳐 있거나 다수의 논문을 포함하는 것으로 밝혀졌다.
• 작업 정의, 데이터셋, 평가 프로토콜에 대한 표준화 부족이 심각하여, 연구 간 비교가 어렵다.
• 현재 모델들은 외부 지식 없이 신경 시퀀스 모델에만 의존할 경우 유창하지만 사실과 어긋나거나 환각된 내용을 생성하는 경향이 있다.
• 다수의 연구가 개별 인용 문장에 집중하면서, 최종 관련 작업 섹션의 논리적 일관성과 구조에 대한 고려가 부족하다.
• 이 분야는 아직 계산 언어학 분야에 국한되어 있으며, 자연과학이나 사회과학 분야의 관련 작업 생성에 대한 탐색은 극히 미미하다.