[논문 리뷰] Modelling Commonsense Properties using Pre-Trained Bi-Encoders

Amit Gajbhiye, Luis Espinosa-Anke외 1명|arXiv (Cornell University)|2022. 10. 06.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 개념과 그들의 일반지식적 성질에 대해 별도의 인코더를 피지테이닝하는 이중 인코더 프레임워크를 제안하며, 초위어-초위어 쌍과 일반 문장들을 사용하여 일반지식적 성질 예측에서 언어 모델의 직접적인 피지테이닝보다 유의미하게 높은 정확도를 달성한다. 특히 훈련 및 테스트 성질 간에 겹치지 않는 제로샷 설정에서 성능이 뛰어나다.

ABSTRACT

Grasping the commonsense properties of everyday concepts is an important prerequisite to language understanding. While contextualised language models are reportedly capable of predicting such commonsense properties with human-level accuracy, we argue that such results have been inflated because of the high similarity between training and test concepts. This means that models which capture concept similarity can perform well, even if they do not capture any knowledge of the commonsense properties themselves. In settings where there is no overlap between the properties that are considered during training and testing, we find that the empirical performance of standard language models drops dramatically. To address this, we study the possibility of fine-tuning language models to explicitly model concepts and their properties. In particular, we train separate concept and property encoders on two types of readily available data: extracted hyponym-hypernym pairs and generic sentences. Our experimental results show that the resulting encoders allow us to predict commonsense properties with much higher accuracy than is possible by directly fine-tuning language models. We also present experimental results for the related task of unsupervised hypernym discovery.

연구 동기 및 목표

• 훈련 및 테스트 세트 간의 개념 유사성으로 인해 언어 모델의 일반지식적 성질 예측 성능가 과도하게 높아진다는 문제를 해결하기 위해.
• 훈련 및 테스트 성질이 분리된 더 현실적인 평가 설정을 개발하여 개념 유사성에 의존하는 것을 줄이기 위해.
• 초위어 관계 데이터와 일반 문장들이 일반지식적 성질을 모델링하는 데 사용되는 사전 훈련 신호로서의 유용성을 탐색하기 위해.
• 개념과 그 성질 간의 관계를 명시적으로 모델링하는 이중 인코더 아키텍처를 설계하고 평가하기 위해.

제안 방법

• 긍정적인 개념-성질 쌍 간의 유사도를 최대화하기 위해 대조 학습 목표를 사용하여 별도의 개념 및 성질 인코더를 피지테이닝한다.
• 이중 인코더를 두 가지 데이터 소스에서 사전 훈련한다: 마이크로소프트 컨셉 그래프에서 추출한 하위어-초위어 쌍과 GenericsKB에서 추출한 일반 문장들.
• 개념 및 성질 표현을 위해 공유된 트랜스포머 인코더를 사용하는 시아미즈 네트워크 아키텍처를 사용하고, 그 다음 코사인 유사도 레이어를 적용한다.
• 추론 시 특정 개념에 대한 상위-k 성질을 효율적으로 검색하기 위해 최대 내적 곱 검색(MIPS)을 적용한다.
• 긍정 쌍(개념과 그 성질)은 가까이, 부정 쌍은 멀리 있도록 하는 대조 손실을 사용하여 모델을 훈련한다.
• 테스트 성질이 훈련에 포함되지 않은 새로운 제로샷 설정에서 모델을 평가한다. 이는 실제 운영 환경을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 훈련 및 테스트 성질이 분리된 상황에서 표준 언어 모델의 일반지식적 성질 예측 성능이 유의미하게 떨어지는가?
• RQ2 초위어 관계 데이터와 일반 문장에서의 사전 훈련이 이중 인코더 모델의 새로운 성질로의 일반화 능력을 향상시키는가?
• RQ3 제안된 이중 인코더 아키텍처는 개념과 성질 간의 의미적 및 분류적 관계를 얼마나 효과적으로 포착하는가?
• RQ4 모델의 예측이 표면적인 개념 유사성 외에 진정한 일반지식 지식을 반영하는가?

주요 결과

• 훈련 및 테스트 성질이 겹치지 않는 새로운 제로샷 평가 설정에서, 표준 언어 모델은 무작위 수준에 가까운 성능을 보이며, 이는 이전 성능가 개념 유사성에 의해 과도하게 높아진 것임을 시사한다.
• 제안된 이중 인코더 모델은 일반지식적 성질 예측에서 직접 피지테이닝된 언어 모델을 능가하며, 특히 제로샷 시나리오에서 뛰어난 성능을 보인다.
• 초위어 관계 데이터(Microsoft Concept Graph 등)와 일반 문장(GenericsKB 등)에서의 사전 훈련은 뛰어난 성능을 낳으며, 특히 후자의 경우 뛰어난 내구성을 보였다.
• 정성적 분석 결과, 모델은 추상적이고 물리적인 개념에 대해서도 의미적으로 유의미한 성질을 검색하는 것으로 나타났다. 이는 초위어뿐만 아니라 의미적 특성도 포함한다.
• 모델는 성질 함의 관계를 성공적으로 포착했지만, 일부 예측은 엄밀한 초위어 관계가 아닌 반대 방향의 함의 또는 의미적 연관성을 반영하고 있었다.
• 표준 피지테이닝에 비해 이중 인코더 접근 방식이 더 잘 일반화되며, 개념-성질 관계를 명시적으로 모델링함으로써 제로샷 전이 능력이 향상됨을 입증했다.