[논문 리뷰] Continual BERT: Continual Learning for Adaptive Extractive Summarization of COVID-19 Literature

Jong Won Park|arXiv (Cornell University)|2020. 07. 07.

Topic Modeling참고 문헌 19인용 수 10

한 줄 요약

이 논문은 지속적 학습을 가능하게 하는 새로운 BERT 기반 아키텍처인 Continual BERT를 제안한다. 이는 변화하는 코로나19 문헌에 대해 온라인, 지속적인 추출 요약을 수행할 수 있도록 한다. 두 개의 BERT 모델인 활성 컬럼(Active Column)과 지식 기반(Knowledge Base)을 사용하며, 계층별 연결과 탄성 가중치 통합(elastic weight consolidation)을 통해 기존 지식을 유지하면서 새로운 출판물에 적응함으로써 참격적 기억 상실(catastrophic forgetting)을 최소화한다. 이로 인해 실제 과학적 텍스트에서 일관되고 맥락에 부합하는 요약을 생성하며 높은 ROUGE 점수를 달성한다.

ABSTRACT

The scientific community continues to publish an overwhelming amount of new research related to COVID-19 on a daily basis, leading to much literature without little to no attention. To aid the community in understanding the rapidly flowing array of COVID-19 literature, we propose a novel BERT architecture that provides a brief yet original summarization of lengthy papers. The model continually learns on new data in online fashion while minimizing catastrophic forgetting, thus fitting to the need of the community. Benchmark and manual examination of its performance show that the model provide a sound summary of new scientific literature.

연구 동기 및 목표

• 실시간으로 급격히 증가하는 코로나19 과학 문헌의 양을 요약하는 도전 과제를 해결하기 위해.
• 이전 출판물에서의 지식을 유지하면서 시간 순서대로 도래하는 새로운 데이터에 적응할 수 있는 BERT를 위한 지속적 학습 프레임워크를 개발하기 위해.
• 원본 텍스트를 유지하고 장기간 복잡한 논문 전반에 걸쳐 핵심 문장을 강조할 수 있는 추출 요약을 가능하게 하기 위해.
• 스트리밍 과학 출판물에 대한 온라인 미세조정 중 참격적 기억 상실을 최소화하기 위해.
• ROUGE 및 수동 평가를 통해 일반 과학 문헌과 도메인 특화 코로나19 논문 양쪽에서 성능을 평가하기 위해.

제안 방법

• 모델은 동일한 BERT-base 인코더 두 개를 사용한다: 현재 작업 학습을 위한 활성 컬럼(AC)과 이전에 학습된 지식을 보존하기 위한 지식 기반(KB).
• AC와 KB 사이의 계층별 연결을 통해 지식 전이가 가능하며, 탄성 가중치 통합(EWC)을 사용해 KB의 파라미터를 AC에 통합한다.
• 진전(AC 미세조정)과 압축(KB 통합) 단계를 번갈아가며 시행하는 교차 학습 과정을 통해 새로운 지식와 오래된 지식의 균형을 유지한다.
• AC 위에 작은 두 층의 트랜스포머 인코더를 스택하여 입력 텍스트에서 요약 문장을 분류하고 추출한다.
• 모델은 각 문장을 분류 인스턴스로 간주하며, [CLS] 토큰을 앞에 붙이고, 인접한 문장을 구분하기 위한 교차 워드 임베딩 방식을 사용해 인코딩한다.
• 학습에는 선형 웜업 스케줄, 가중치 감소를 적용한 AdamW 옵timizer, 온도 스케일링을 사용한 지식 정복, 그리고 하이퍼파라미터 λ=15와 γ=0.99를 사용한 EWC를 사용한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델이 새로운 시간 순서의 과학 출판물 스트림으로부터 지속적으로 학습하면서도 높은 요약 성능를 유지할 수 있는가?
• RQ2 코로나19 문헌의 순차적 배치에 대해 미세조정을 수행할 때 모델이 참격적 기억 상실을 얼마나 효과적으로 방지하는가?
• RQ3 PubMed에서의 이전 의료 지식의 포함이 신규 도메인 특화 코로나19 논문에서 성능 향상에 기여하는가?
• RQ4 ROUGE 지표와 수동 평가에서 표준 미세조정 기반 모델과 비교해 모델의 성능은 어떠한가?
• RQ5 계층별 연결과 EWC 메커니즘이 BERT 기반 요약 시스템에서 지속적 학습의 안정성에 어떤 역할을 하는가?

주요 결과

• 압축(통합) 단계 동안 학습 손실은 0.21을 기록했고, 진전 단계 동안은 2.15를 기록하여 오래된 지식과 새로운 지식 사이의 균형을 효과적으로 확립했지만 도전적인 상황임을 시사한다.
• PubMed 논문에서 Continual BERT는 베이스라인 모델보다 ROUGE 평가에서 뛰어난 성능을 보였으며, 이는 이전 문헌에 자주 등장하는 의료 용어(예: 'hydroxychloroquine') 덕분이었다.
• 수동 평가를 통해 모델이 문헌 전반에 산재한 핵심 문장을 선택하여 일관되고 맥락에 부합하는 추출 요약을 생성함을 확인했다.
• 모델은 도메인 특화된 고도로 기술적인 내용을 담은 논문(예: PubMed)에서 뛰어난 성능을 보였으며, 더 일반적인 과학 논문(ScisummNet)보다 성능이 뛰어났다.
• 진전 단계의 어려움은 이전 패닉 이전의 논문들과 현대의 코로나19 중심 연구 사이의 정보 격차에서 기인했다.
• 모델의 확장 가능한 아키텍처는 장기적이고 빈번한 업데이트를 지원하여 변화가 빠른 과학 문헌의 실시간 요약에 적합하다.