[논문 리뷰] Overview of the SciHigh Track at FIRE 2025: Research Highlight Generation from Scientific Papers

Tohida Rehman, Debarshi Kumar Sanyal외 1명|arXiv (Cornell University)|2026. 01. 01.

Biomedical Text Mining and Ontologies인용 수 0

한 줄 요약

본 논문은 FIRE 2025의 SciHigh 트랙을 보고하며, 팀들은 MixSub 데이터세트를 사용해 초록에서 핵심 포인트를 bullet-point로 요약했다; 최적의 ROUGE-L F1 점수는 미세 조정된 Pegasus 모델에서 23.45%였다.

ABSTRACT

`SciHigh: Research Highlight Generation from Scientific Papers' focuses on the task of automatically generating concise, informative, and meaningful bullet-point highlights directly from scientific abstracts. The goal of this task is to evaluate how effectively computational models can generate highlights that capture the key contributions, findings, and novelty of a paper in a concise form. Highlights help readers grasp essential ideas quickly and are often easier to read and understand than longer paragraphs, especially on mobile devices. The track uses the MixSub dataset \cite{10172215}, which provides pairs of abstracts and corresponding author-written highlights. In this inaugural edition of the track, 12 teams participated, exploring various approaches, including pre-trained language models, to generate highlights from this scientific dataset. All submissions were evaluated using established metrics such as ROUGE, METEOR, and BERTScore to measure both alignment with author-written highlights and overall informativeness. Teams were ranked based on ROUGE-L scores. The findings suggest that automatically generated highlights can reduce reading effort, accelerate literature reviews, and enhance metadata for digital libraries and academic search platforms. SciHigh provides a dedicated benchmark for advancing methods aimed at concise and accurate highlight generation from scientific writing.

연구 동기 및 목표

• 빠른 독해를 돕는 과학적 기여의 bullet-point 하이라이트를 통해 이해를 돕는다.
• 초록에서 자동 하이라이트 생성을 위한 벤치마크를 제공한다.
• 멀티디시플리너리 데이터셋에서 트랜스포머 기반 및 검색 기반 접근법을 평가한다.
• 생성된 하이라이트가 저자 작성 하이라이트와 독자 정보 전달에 얼마나 잘 aligning되는지 평가한다.

제안 방법

• 여러 도메인에 걸친 초록–하이라이트 페어를 포함하는 MixSub 데이터셋을 사용한다.
• 하이라이트 생성을 위해 사전 학습된 언어 모델(Pegasus, T5, BART 등)을 미세 조정한다.
• ROUGE-1, ROUGE-2, ROUGE-L로 제출물을 평가하고 ROUGE-L F1로 순위를 매긴다.
• 숨겨진 진짜 하이라이트를 가진 보유된 테스트 세트를 제공하고 재현성을 위한 평가 코드를 릴리스한다.
• 추출적-추상적 하이브리드 및 검색 보강 전략을 탐구한다.

실험 결과

연구 질문

• RQ1 자동 모델이 초록에서 간결하고 저자와 유사한 연구 하이라이트를 생성할 수 있는가?
• RQ2 다양한 모델 계열(추출적, 추상적, 하이브리드)이 교차 도메인 과학 텍스트에서 어떤 성능을 보이는가?
• RQ3 MixSub에서 SciHigh의 ROUGE-L F1 기준으로 가장 성능 좋은 접근은 무엇인가?
• RQ4 생성된 하이라이트와 저자 작성 하이라이트 간의 도메인 간 정합성은 어느 수준인가?

주요 결과

• 열두 개 팀이 참가했고, 최상의 ROUGE-L F1은 23.45%로 나타났으며( Pegasus 기반 모델을 사용한 Text_highlights_gen).
• 두 번째로 좋은 ROUGE-L F1은 23.24%로 나타났으며(AiNauts의 추출적–추상적 방법).
• 3위에서 10위까지의 점수는 23.02%에서 17.91%까지의 범위로 나타났다.
• 팀들은 미세 조정된 트랜스포머, 추출적 랭킹, 검색 보강 방법의 혼합을 사용했다.
• 평가는 ROUGE-1, ROUGE-2, ROUGE-L을 사용했고 최종 순위는 ROUGE-L F1로 결정되었다.
• 이 트랙은 벤치마크를 설정하고 자동 하이라이트가 문헌 검토 및 메타데이터 품질에 도움이 될 수 있음을 보여주는 한편, 문장 간 정보 통합과 같은 남은 과제도 강조한다.