[논문 리뷰] Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction

Christoph Alt, Aleksandra Gabryszak외 1명|arXiv (Cornell University)|2020. 04. 17.

Topic Modeling참고 문헌 31인용 수 7

한 줄 요약

이 논문은 TACRED와 SemEval 2010에서 40개 이상의 인코더 아키텍처와 언어적 특징 조합을 평가하는 데 사용되는 14개의 탐색 작업을 소개한다. 결과적으로 문맥 기반 임bedding(예: BERT)이 개체 및 품사 품사 탐색 작업과 관계 추출(RE)에서 성능을 크게 향상시키는 것으로 나타났으며, 개체 마스킹은 RE 정확도를 높이지만 개체 유형 탐색 작업 성능을 떨어뜨려 학습된 표현에서 아키텍처적 편향이 드러남을 확인함.

ABSTRACT

Despite the recent progress, little is known about the features captured by state-of-the-art neural relation extraction (RE) models. Common methods encode the source sentence, conditioned on the entity mentions, before classifying the relation. However, the complexity of the task makes it difficult to understand how encoder architecture and supporting linguistic knowledge affect the features learned by the encoder. We introduce 14 probing tasks targeting linguistic properties relevant to RE, and we use them to study representations learned by more than 40 different encoder architecture and linguistic feature combinations trained on two datasets, TACRED and SemEval 2010 Task 8. We find that the bias induced by the architecture and the inclusion of linguistic features are clearly expressed in the probing task performance. For example, adding contextualized word representations greatly increases performance on probing tasks with a focus on named entity and part-of-speech information, and yields better results in RE. In contrast, entity masking improves RE, but considerably lowers performance on entity type related probing tasks.

연구 동기 및 목표

• 최첨단 신경 관계 추출 모델이 어떤 언어적 특징(예: 개체 유형, 의존 구조 경로, 문법적 역할 등)을 캡처하는지 이해하기 위해.
• 다양한 인코더 아키텍처(예: CNN, RNN, GCN, 자기주의)가 문장 수준 표현에서 언어적 특징을 어떻게 표현하는지 조사하기 위해.
• 문법적 지식(예: 품사 태그, 의존 구문 분석)과 문맥 기반 단어 표현(예: ELMo, BERT)을 통합할 경우 학습된 표현의 품질에 어떤 영향을 미치는지 평가하기 위해.
• 탐색 작업 성능과 최종 관계 추출 정확도 사이의 연관성을 설정하여 표현 학습에서 잠재적인 상충 관계를 규명하기 위해.
• 재현 가능성과 향후 연구를 지원하기 위해 오픈소스 프레임워크(Relex 및 REval)를 제공하기 위해.

제안 방법

• 저자는 관계 추출에 관련된 언어적 특징을 타깃으로 하는 14개의 탐색 작업을 설계함. 이는 개체 유형, 품사, 의존 경로, 그리고 인자 간 거리 등을 포함함.
• TACRED와 SemEval 2010 Task 8이라는 두 데이터셋에서 4개의 인코더 아키텍처(CNN, Bi-LSTM, GCN, S-Att.)와 다양한 입력 특징(예: 개체 마스킹, 문맥 기반 임베딩, POS 태그)을 조합한 총 41종의 모델 변형을 평가함.
• 각 모델 변형에 대해 문장 수준의 표현을 추출하고, 이를 바탕으로 탐색 작업에 대해 이진 또는 다중 클래스 분류기를 훈련시켜 특징 인코딩 품질을 측정함.
• 각 탐색 작업의 성능은 표준 지표(예: F1)를 사용해 평가되며, 결과는 최종 관계 추출 F1 점수와 상관관계를 분석하여 표현의 유용성을 평가함.
• 모델들은 전체 훈련 세트에서 훈련되고 개발 세트에서 평가되며, 표준화된 훈련 및 평가 프로토콜을 사용하여 변형 간 비교 가능성을 확보함.
• 저자는 탐색 작업를 확장하여 SentEval에 통합할 수 있는 RelEx 프레임워크와 REval 툴킷을 공개함으로써 보편적 활용과 재현 가능성을 지원함.

실험 결과

연구 질문

• RQ1 최첨단 신경 관계 추출 모델은 개체 유형, 품사 태그, 의존 경로와 같은 핵심 언어적 특징을 얼마나 잘 인코딩하는가?
• RQ2 자기주의 인코더(S-Att.)와 CNN 등과 같은 인코더 아키텍처 선택이 문장 수준 표현에서 언어적 특징 표현에 얼마나 영향을 미치는가?
• RQ3 명시적 언어적 특징(예: POS, 의존 구문 분석)과 문맥 기반 단어 표현(예: BERT, ELMo)은 관계 추출을 위한 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ4 탐색 작업 성능과 최종 관계 추출 작업 성능 사이에 상충 관계가 존재하는가?
• RQ5 개체 마스킹은 개체 관련 언어적 특징의 인코딩과 전체 모델의 일반화 능력에 어떻게 영향을 미치는가?

주요 결과

• BERT와 ELMo와 같은 문맥 기반 단어 표현은 명시적 개체와 품사 정보에 초점을 맞춘 탐색 작업에서 성능을 크게 향상시키며, 이러한 특징이 강하게 인코딩되어 있음을 시사함.
• CNN+ELMo 모델은 대부분의 탐색 작업에서 가장 높은 성능을 기록하지만, 최고 성능을 낸 S-Att.+BERT 케이스(마스킹 포함)에 비해 TACRED 관계 추출 작업에서 F1 점수 8.1포인트 낮음.
• 자기주의 인코더(S-Att.)는 관계 추출 F1 점수를 최고로 기록함(최대 TACRED에서 66.9), 그러나 탐색 작업에서는 일관되게 성능이 열등하여 더 깊고 추상적인 언어적 특징을 캡처하는 것으로 나타남.
• 개체 마스킹은 관계 추출의 일반화 능력을 향상시켜 F1 점수를 4–8포인트 향상시키지만, 개체 유형 관련 탐색 작업 성능은 저하시켜 표현 학습에서 상충 관계가 있음을 시사함.
• SemEval 2010 데이터셋에서는 BERT 임베딩을 추가함으로써 모든 모델에서 F1 점수가 3.5–6포인트 향상되었으며, 최고 성능 모델(CNN + uncased BERT)은 86.3 F1을 기록하여 최첨단 성능과 유사함.
• 연구 결과 아키텍처적 편향이 강하게 영향을 미치며, 아키텍처와 입력 특징에 따라 탐색 작업 성능에 체계적인 차이가 있음을 확인함.