[논문 리뷰] Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language

Mael Jullien, Marco Valentino외 1명|arXiv (Cornell University)|2022. 01. 25.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 대규모 트랜스포머 언어 모델이 체계적인 추상적 의미 범주에 대한 탐색을 통해 기본 철학적 체계(FO)를 인코딩하는지 여부를 조사한다. 다양한 BERT 및 RoBERTa 모델을 대상으로 기본, 이진, 단일 문맥 기반 임베딩 탐색이라는 세 가지 상호보완적 FO 태깅 작업을 수행한 결과, 트랜스포머 모델이 사전 훈련 과정에서 FO 관련 표현을 부수적으로 학습하고 있음을 입증하였으며, 이는 MLP 탐색기를 사용해 약 90%의 정확도를 기록하는 강력한 텀 수준의 FO 태거를 구축할 수 있음을 시사한다.

ABSTRACT

With the methodological support of probing (or diagnostic classification), recent studies have demonstrated that Transformers encode syntactic and semantic information to some extent. Following this line of research, this paper aims at taking semantic probing to an abstraction extreme with the goal of answering the following research question: can contemporary Transformer-based models reflect an underlying Foundational Ontology? To this end, we present a systematic Foundational Ontology (FO) probing methodology to investigate whether Transformers-based models encode abstract semantic information. Following different pre-training and fine-tuning regimes, we present an extensive evaluation of a diverse set of large-scale language models over three distinct and complementary FO tagging experiments. Specifically, we present and discuss the following conclusions: (1) The probing results indicate that Transformer-based models incidentally encode information related to Foundational Ontologies during the pre-training pro-cess; (2) Robust FO taggers (accuracy of 90 percent)can be efficiently built leveraging on this knowledge.

연구 동기 및 목표

• 사전 훈련 과정 중 현대적 트랜스포머 기반 모델이 잠재적인 기본 철학적 체계(FO)를 인코딩하는지 조사한다.
• 예를 들어 '사건'이나 '생물학적 대상'과 같은 도메인 독립적 고수준 범주를 탐색하여 자연어 처리 분야에서 추상적 의미 추론 문제를 해결한다.
• 문맥 기반 임베딩 내의 FO 표현 정도를 평가하기 위해 체계적인 FO 탐색 방법론을 개발하고 평가한다.
• 대규모 언어 모델이 사전에 인코딩한 의미 지식을 활용하여 강력하고 효율적인 FO 태거를 구축할 수 있음을 입증한다.
• 다양한 아키텍처와 파인튜닝 절차(예: NLI 데이터셋 기반)가 FO 인코딩 및 최종 성능에 미치는 영향을 조사한다.

제안 방법

• WordNet-DOLCE 정렬을 의미 기반 기준으로 삼아, 기본 철학적 체계 태깅, 이진 작업, 단일 문맥 기반 임베딩 탐색이라는 세 가지 별개의 FO 태깅 작업을 설계한다.
• 선형 및 다층 퍼셉트론(MLP) 탐색기를 사용해 문맥 기반 임베딩에서 FO 관련 표현을 추출하기 위해 진단 분류(탐색)를 적용한다.
• SNLI, MNLI, QQP, MRPC 등의 다수의 NLI 데이터셋에서 BERT 및 RoBERTa 모델을 파인튜닝하여, 최종적인 파인튜닝이 FO 인코딩에 미치는 영향을 평가한다.
• 단일 문맥 기반 임베딩 탐색을 위해 2,760개 샘플(클래스당 460개)으로 구성된 정제된 데이터셋을 사용하며, 훈련/검증/테스트 세트로 552-552-1,656으로 분할한다.
• 정확도와 최대 선택도를 사용해 탐색 성능을 평가하고, 아키텍처 및 탐색 유형 간 결과를 비교한다.
• FO 탐색 파이프라인, 데이터셋, 훈련된 태거를 오픈소스로 제공하여 재현 가능성과 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 트랜스포머 기반 모델이 사전 훈련 과정에서 부수적으로 기본 철학적 체계(FO) 범주를 인코딩하는가?
• RQ2 사전 훈련된 모델에 인코딩된 의미 지식을 활용해 강력한 텀 수준의 FO 태거를 구축할 수 있는가?
• RQ3 다양한 모델 아키텍처(예: BERT 대비 RoBERTa)와 파인튜닝 절차(예: NLI 데이터셋 기반)가 FO 정보 인코딩에 어떤 영향을 미치는가?
• RQ4 선형 탐색기와 MLP 탐색기 중 어느 것이 FO 범주 탐지에 더 뛰어난 성능을 보이는가?
• RQ5 기본 모델과 NLI 파인튜닝된 모델 간의 FO 인코딩에 유의미한 차이가 존재하는가?

주요 결과

• 모든 탐색 작업에서 무작위 기준 이상의 성능을 기록함으로써, 트랜스포머 기반 모델이 사전 훈련 과정에서 기본 철학적 체계(FO) 관련 정보를 부수적으로 인코딩하고 있음을 입증하였다.
• MLP 탐색기는 모든 작업에서 선형 탐색기보다 뚜렷이 뛰어난 성능을 보이며, 최고 정확도(최대 0.66)와 최대 선택도(최대 0.37)를 기록하여 추상적 의미 지식을 추출하는 데 뛰어난 능력을 지닌 것으로 나타났다.
• 특히 MLP 탐색기를 사용할 경우, 대규모 언어 모델에 사전에 인코딩된 FO 지식을 활용해 약 90%의 정확도를 기록하는 강력하고 효율적인 FO 태거를 구축할 수 있음을 입증하였다.
• 다양한 모델 아키텍처(예: BERT 대비 RoBERTa) 또는 기본 모델과 NLI 파인튜닝된 변형 간에 유의미한 차이가 관찰되지 않아, 다양한 설정 간 일관된 FO 인코딩이 이루어지고 있음을 시사하였다.
• 가장 뛰어난 성능을 보인 모델은 SNLI 데이터셋에서 훈련된 RoBERTa large 모델로, 단일 문맥 기반 임베딩 작업에서 MLP 탐색기를 사용해 정확도 0.66, 최대 선택도 0.27를 기록하였다.
• NLI 데이터셋에서의 파인튜닝이 항상 FO 탐색 성능을 향상시키지 못했으며, 일부 경우에서는 성능이 오히려 저하되는 경향을 보여, 이러한 파인튜닝이 추상적 의미 인코딩을 향상시키지 못할 수 있음을 시사하였다.