[논문 리뷰] Zero-Shot and Few-Shot Classification of Biomedical Articles in Context of the COVID-19 Pandemic

Simon Lupart, Benoît Favre외 2명|arXiv (Cornell University)|2022. 01. 09.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 BioBERT 표현을 향상시켜 생물의학 논문의 zero-shot 및 few-shot 분류 성능을 높이기 위해 MeSH 계층을 seq2seq 작업을 통해 Tree Numbers 예측을 통해 통합한 다중 과제 학습 프레임워크를 제안한다. 이 방법은 구조적 탐색 성능을 향상시키고 MeSH 용어의 더 나은 의미 정렬을 가능하게 하며, 특히 계층적 관계를 포착하는 데에 유의미한 기여를 한다. 다만, 다양한 데이터셋에서 분류 F1 점수 향상은 일관되지 않은 편이다.

ABSTRACT

MeSH (Medical Subject Headings) is a large thesaurus created by the National Library of Medicine and used for fine-grained indexing of publications in the biomedical domain. In the context of the COVID-19 pandemic, MeSH descriptors have emerged in relation to articles published on the corresponding topic. Zero-shot classification is an adequate response for timely labeling of the stream of papers with MeSH categories. In this work, we hypothesise that rich semantic information available in MeSH has potential to improve BioBERT representations and make them more suitable for zero-shot/few-shot tasks. We frame the problem as determining if MeSH term definitions, concatenated with paper abstracts are valid instances or not, and leverage multi-task learning to induce the MeSH hierarchy in the representations thanks to a seq2seq task. Results establish a baseline on the MedLine and LitCovid datasets, and probing shows that the resulting representations convey the hierarchical relations present in MeSH.

연구 동기 및 목표

• 코로나19 패an드믹 기간 동안 많은 MeSH 카테고리에 대해 레이블이 부족한 상황에서 생물의학 논문의 zero-shot 및 few-shot 분류 과제를 해결한다.
• MeSH 기술어의 계층적 의미 정보(예: Tree Numbers 및 부모-자식 관계)를 활용하여 BioBERT의 의미 표현을 향상시킨다.
• 문서 분류 및 MeSH 계층 예측을 동시에 학습하는 다중 과제 학습 프레임워크를 개발하여 zero-shot 일반화 능력을 향상시킨다.
• 모델 표현에 MeSH 계층을 통합함으로써 zero-shot 및 few-shot 분류 과제 성능 향상 여부를 조사한다.
• 의료 NLP 응용 분야에서 핵심적인 역할을 하는 생물의학 텍스트 분류를 위한 더 설명 가능하고 의미적으로 구조화된 표현 공간을 제공한다.

제안 방법

• MedLine 및 LitCovid 데이터셋의 균형 잡힌 서브셋을 대상으로 BioBERT를 피지터링하고, 각 입력이 논문 초록과 MeSH 용어의 연결으로 구성된 오픈-보기어 설정을 사용한다.
• zero-shot 분류를 이진 매칭 과제로 재정의: 주어진 MeSH 용어가 논문 초록과 관련이 있는지 예측한다.
• 다중 과제 학습 목표를 도입하여 별도의 디코더 헤드를 통해 MeSH 용어의 Tree Number를 예측함으로써 표현에 계층적 구조를 통합한다.
• 분류 및 계층 예측 과제 모두에 대해 BioBERT의 CLS 토큰 표현을 공동 문맥으로 사용한다.
• 두 가지 손실 구성 요소를 사용하여 학습: 분류에 대한 교차 엔트로피와 Tree Number 시퀀스 생성에 대한 교차 엔트로피이며, 균형 잡힌 가중치를 적용한다.
• 두 가지 탐색 과제를 통해 구조적 탐색을 수행한다: 공통 조상 탐지기(공통 조상 k개에 대한 F1 측정) 및 최단 경로 탐지기(MeSH 계층 그래프 내 평균 거리 오차 측정).

실험 결과

연구 질문

• RQ1 다중 과제 학습을 통해 MeSH 계층을 BioBERT 표현에 통합함으로써 생물의학 논문의 zero-shot 및 few-shot 분류 성능 향상 여부는 어떠한가?
• RQ2 구조적 탐색을 통해 측정했을 때, 모델이 MeSH 기술어 간의 계층적 관계를 얼마나 잘 학습하고 유지하는가?
• RQ3 Tree Number 예측을 위한 seq2seq 과제를 포함함으로써 표현 공간 내 MeSH 용어의 의미 정렬이 향상되는가?
• RQ4 분류 및 탐색 과제 모두에서 일반 BioBERT와 다중 과제 학습 변형 간의 성능 및 표현 품질을 비교했을 때 어떤가?
• RQ5 대규모 어휘 기반 zero-shot 설정으로 확장할 때 현재 오픈-입력 접근 방식의 한계는 무엇인가?

주요 결과

• 다중 과제 학습(MTL) 모델은 탐색 과제에서 평균 최단 경로 거리 오차 1.323을 기록했으며, BioBERT 베이스라인(1.494) 및 무작위 기준(2.597)보다 유의미하게 낮아 계층적 구조의 더 나은 유지가 이루어졌음을 시사한다.
• MTL 모델은 공통 조상 탐지기에서 F1 점수로 0.933(k=1), 0.659(k=2), 0.576(k=3)를 기록했으며, BioBERT 베이스라인(0.855, 0.521, 0.538)을 초월하여 공통 조상 식별 능력이 향상됨을 보였다.
• 구조적 탐색 성능 향상에도 불구하고, MTL 모델은 주요 zero-shot 및 few-shot 분류 과제에서 F1 점수 향상이 일관되지 않아 후행 분류 과제로의 전이 성능이 제한적임을 시사한다.
• 일반 BioBERT 모델은 이미 탐색 과제의 베이스라인 성능을 통해 일부 계층적 지식을 암묵적으로 통합하고 있음을 확인했으며, 이는 생물의학 텍스트에서의 사전학습이 암묵적인 의미적 구조를 포착한다는 것을 시사한다.
• MTL 프레임워크의 학습 동역학은 최적화되지 않았으며, 분류 손실가 Tree Number 예측 손실보다 빨리 수렴하여 계층적 헤드의 잠재적 이점을 제한했다.
• 본 연구는 다중 과제 학습에서 더 나은 최적화 전략이 필요하다는 점을 강조하며, 대규모 어휘 기반 zero-shot 설정으로 확장하기 위해 검색 기반 필터링(예: ColBERT 또는 BM25)과 오픈-입력 분류를 조합할 것을 제안한다.