[논문 리뷰] Learning from Context or Names? An Empirical Study on Neural Relation Extraction

Hao Peng, Tianyu Gao외 6명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 39인용 수 18

한 줄 요약

이 논문은 신경 관계 추출(NRE) 모델이 텍스트적 맥락보다 엔티티 언급에 얼마나 의존하는지 조사하며, 모델이 언급 기반의 유형 정보에 크게 의존하고 있으며 언급 내 얕은 단서를 악용하기 쉬운 것으로 드러난다. 이를 해결하기 위해 저자는 엔티티 마스킹을 통한 대비적 사전학습 프레임워크를 제안하여 맥락 이해를 강화하면서도 엔티티 이름에 대한 편향을 줄이며, 다양한 벤치마크에서 강건성과 성능을 크게 향상시킨다. 특히 자원이 부족한 환경에서 두드러진 성능 향상을 보인다.

ABSTRACT

Neural models have achieved remarkable success on relation extraction (RE) benchmarks. However, there is no clear understanding which type of information affects existing RE models to make decisions and how to further improve the performance of these models. To this end, we empirically study the effect of two main information sources in text: textual context and entity mentions (names). We find that (i) while context is the main source to support the predictions, RE models also heavily rely on the information from entity mentions, most of which is type information, and (ii) existing datasets may leak shallow heuristics via entity mentions and thus contribute to the high performance on RE benchmarks. Based on the analyses, we propose an entity-masked contrastive pre-training framework for RE to gain a deeper understanding on both textual context and type information while avoiding rote memorization of entities or use of superficial cues in mentions. We carry out extensive experiments to support our views, and show that our framework can improve the effectiveness and robustness of neural models in different RE scenarios. All the code and datasets are released at https://github.com/thunlp/RE-Context-or-Names.

연구 동기 및 목표

• 신경 관계 추출 모델이 텍스트적 맥락과 엔티티 언급(특히 유형 정보)에 얼마나 의존하는지 정도를 조사하기 위해.
• 기존의 관계 추출 벤치마크가 엔티티 언급을 통해 얕은 통계적 단서를 泄露하여 모델 예측을 편향시키는지 확인하기 위해.
• 엔티티 이름의 표면적 단서에 과도하게 의존하는 것을 줄이고 맥락 이해를 향상시킴으로써 모델의 강건성을 향상시키기 위해.
• 엔티티 언급을 마스킹하여 기억을 피하고 맥락으로부터 관계적 의미를 명시적으로 학습하는 사전학습 프레임워크를 개발하기 위해.

제안 방법

• 저자는 각 입력 모odal의 기여도를 분리하기 위해 오직 맥락(OnlyC), 오직 언급(OnlyM), 그리고 둘 다(C+M)를 사용해 모델을 훈련하는 분석 실험을 수행한다.
• 모델이 엔티티 정체성을 기억하지 않도록 사전학습 중에 엔티티 언급을 마스킹하는 엔티티 마스킹 대비적 사전학습(CP) 프레임워크를 제안한다.
• 프레임워크는 동일한 관계를 표현하는 의미적으로 유사한 문장 쌍을 학습하는 대비 목적 함수를 사용하며, Wikidata를 활용해 이러한 쌍을 식별한다.
• 프리트레인된 언어 모델(예: BERT)을 활용하고, 사전학습 중에 엔티티 언급을 마스킹하여 모델이 맥락 내 관계 패턴에 집중하도록 유도한다.
• 이 방법은 위키백과 문장에서 훈련되고, TACRED, Wiki80, FewRel, ChemProt 등의 다양한 벤치마크에서 평가된다.
• 모델의 성능은 전체 자원 설정과 자원이 부족한/소수 샘플 설정에서 평가되어 강건성과 일반화 능력을 점검한다.

실험 결과

연구 질문

• RQ1 신경 관계 추출 모델이 관계 분류에 있어 텍스트적 맥락과 엔티티 언급에 얼마나 의존하는가?
• RQ2 기존의 RE 벤치마크에 모델이 맥락 패턴을 학습하기보다는 엔티티 언급 내 얕은 통계적 단서를 악용하는 단서가 포함되어 있는가?
• RQ3 엔티티 언급을 마스킹하는 대비적 사전학습 프레임워크가 모델의 일반화 능력을 향상시키고 언급 내 표면적 단서에 대한 의존도를 줄일 수 있는가?
• RQ4 제안된 방법이 다양한 도메인과 자원이 부족한 환경에서 성능 향상을 이끌 수 있는가?

주요 결과

• 모델은 오직 엔티티 언급만을 입력으로 받더라도 높은 성능을 달성하며, 이는 기존 벤치마크가 언급 기반의 유형 정보를 통해 얕은 단서를 泄露하고 있음을 시사한다.
• 제안된 엔티티 마스킹 대비적 사전학습(CP) 프레임워크는 모든 벤치마크에서 성능 향상을 이끌었으며, 10-way 1-shot FewRel 1.0에서는 7% 향상, TACRED의 1% 설정에서는 18% 향상되었다.
• CP 프레임워크는 특히 자원이 부족한 환경과 소수 샘플 설정에서 뚜렷한 향상을 보이며, 표면적 단서에 대한 과도한 피 Lotting을 줄이고 강건성을 향상시킴을 입증한다.
• 이 방법은 맥락 이해(OnlyC)와 언급 기반 유형 활용(OnlyM)을 모두 향상시켜 C+M 설정에서 전체 성능 향상으로 이어진다.
• 모델은 도메인 간 일반화 능력이 뛰어나며, 위키백과에서 사전학습되었음에도 불구하고 생물의학 분야 데이터셋인 ChemProt에서도 뛰어난 성능을 보였다.
• 사례 연구를 통해 모델이 엔티티 정체성을 기억하는 대신 맥락 내 관계 패턴에 집중함을 확인하였으며, 마스킹과 대비 목적 함수의 효과성을 검증하였다.