[논문 리뷰] Neural Snowball for Few-Shot Relation Learning

Tianyu Gao, Xu Han외 5명|arXiv (Cornell University)|2019. 08. 29.

Topic Modeling참고 문헌 60인용 수 7

한 줄 요약

Neural Snowball는 기존 관계에서 사전 훈련된 관계적 시アン즈 네트워크(Relational Siamese Networks, RSN)를 사용하여 새로운 관계에 대해 고품질의 레이블이 없는 인스턴스를 반복적으로 누적하는 few-shot 관계 학습 프레임워크를 제안한다. RSN을 통한 의미적 유사도를 활용해 신뢰할 수 있는 인스턴스를 선택함으로써, 기존의 베이스라인 대비 성능 향상을 크게 달성하였으며, 미사용된 관계에 대해 상위 5개 인스턴스에서 82.15%의 정밀도를 기록하였다.

ABSTRACT

Knowledge graphs typically undergo open-ended growth of new relations. This cannot be well handled by relation extraction that focuses on pre-defined relations with sufficient training data. To address new relations with few-shot instances, we propose a novel bootstrapping approach, Neural Snowball, to learn new relations by transferring semantic knowledge about existing relations. More specifically, we use Relational Siamese Networks (RSN) to learn the metric of relational similarities between instances based on existing relations and their labeled data. Afterwards, given a new relation and its few-shot instances, we use RSN to accumulate reliable instances from unlabeled corpora; these instances are used to train a relation classifier, which can further identify new facts of the new relation. The process is conducted iteratively like a snowball. Experiments show that our model can gather high-quality instances for better few-shot relation learning and achieves significant improvement compared to baselines. Codes and datasets are released on https://github.com/thunlp/Neural-Snowball.

연구 동기 및 목표

• 열린 지식 그래프에서 새로운 관계에 대한 few-shot 관계 학습 문제를 해결하기 위해.
• 소수의 레이블이 있는 인스턴스만으로도 새로운 관계에 대한 관계 추출 성능을 향상시키기 위해.
• 기존에 존재하는 레이블이 있는 관계를 활용하여 전이 학습을 통해 새로운 관계에 대한 고신뢰도 인스턴스 탐색을 유도하기 위해.
• 고정밀도를 유지하면서 반복적으로 학습 데이터를 확장하는 부트스트랩 메커니즘을 개발하기 위해.
• 관계적 시앙즈 네트워크(Relational Siamese Networks)가 few-shot 적응을 위해 관계 유사도를 측정하는 데 효과적인지 입증하기 위해.

제안 방법

• 기존에 레이블이 있는 관계를 기반으로 관계 유사도를 측정하는 메트릭을 학습하기 위해 관계적 시앙즈 네트워크(Relational Siamese Networks, RSN)를 사용한다.
• 새로운 관계의 소수의 시드 인스턴스가 주어지면, RSN은 레이블이 없는 코퍼스에서 후보 문장을 점수 매겨 고신뢰도 인스턴스를 식별한다.
• 선택된 고신뢰도 인스턴스를 사용해 관계 분류기를 미세조정하며, 이를 통해 새로운 관계에 대한 추가 사실을 식별한다.
• 이 과정은 반복적이다—새로 발견된 사실들이 파이프라인에 다시 입력되며, 눈덩이 효과를 모방한다.
• RSN 모델은 이전의 관계에서 사전 훈련되며, 새로운 관계 학습 중에는 고정되어 있어, 미사용된 관계로의 일반화를 보장한다.
• 전이 학습과 능동적 인스턴스 선택을 결합하여, 광범위한 레이블 데이터가 필요 없이 few-shot 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 관계에서 유추된 의미 지식을 효과적으로 새로운 관계의 few-shot 학습에 전이할 수 있는 신경망 모델이 존재하는가?
• RQ2 기존에 노출된 바가 없는 새로운 관계에 대해 관계적 시앙즈 네트워크(Relational Siamese Networks, RSN)가 고신뢰도 인스턴스를 얼마나 잘 식별할 수 있는가?
• RQ3 새로 발견된 인스턴스를 누적하고 재학습하는 반복적 눈덩이 과정이 일관된 성능 향상을 이끌어내는가?
• RQ4 few-shot 환경에서 RSN 기반의 인스턴스 선택 방식이 무작위 샘플링이나 패턴 기반 방법에 비해 성능이 얼마나 뛰어나게 되는가?
• RQ5 소수의 시드 인스턴스만 제공되었을 때, 모델이 얼마나 잘 미사용된 관계로 일반화되는가?

주요 결과

• Neural Snowball는 강력한 베이스라인 대비 few-shot 관계 학습에서 뚜렷한 성능 향상을 달성하였으며, 특히 새로운 관계에 대한 정밀도와 F1 점수에서 두드러진 성과를 보였다.
• RSN 모델은 이전에 본 적 없는 관계에 대해 후보 인스턴스를 선택할 때 상위 5개 인스턴스에서 82.15%의 정밀도를 기록하여 강력한 일반화 능력을 입증하였다.
• 반복적인 눈덩이 과정은 무작위 샘플링보다 더 높은 정밀도를 유지하였으며, 인스턴스 수가 적을 때조차도 선택된 데이터의 품질이 높음을 입증하였다.
• 의장 관계에 대한 분류기 성능은 반복 과정을 거치며 점진적으로 향상되었으며, 정밀도는 항상 무작위 베이스라인을 초월하였다.
• 모델은 다양한 관계와 설정에서 뛰어난 내재성과 안정성을 보였으며, 더 많은 인스턴스가 수집될수록 재현율과 정밀도 모두에서 일관된 성능 향상을 보였다.
• 모델는 대규모 애너테이션에 의존하지 않고도 기존에 존재하는 레이블 데이터를 효과적으로 활용하여 새로운 관계 학습을 부트스트랩하는 데 성공하였다.