[논문 리뷰] Three Sentences Are All You Need: Local Path Enhanced Document Relation Extraction

Quzhe Huang, Shengqi Zhu외 4명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 엔티티 쌍을 연결하는 국소적 증거 경로를 히우리스틱적으로 선택함으로써 문서 수준 관계 추출을 위한 단순하면서도 효과적인 방법을 제안한다. 이 경로들은 최대 세 문장 이내의 연속 문장, 다단계 경로, 또는 기본 경로로 구성되며, 이는 엔티티 쌍 간의 관계를 연결하는 데 사용된다. 이러한 최소화되고 해석 가능한 경로들에만 초점을 맞추고 BiLSTM에 입력함으로써, 복잡한 그래프 신경망 모델들보다 뛰어난 성능을 달성하여 DocRED에서 최신 기준 성능을 기록한다. 이는 명시적이고 인간 중심의 증거 선택 방식이 복잡한 GNN 모델의 암묵적 필터링을 초월할 수 있음을 보여준다.

ABSTRACT

Document-level Relation Extraction (RE) is a more challenging task than sentence RE as it often requires reasoning over multiple sentences. Yet, human annotators usually use a small number of sentences to identify the relationship between a given entity pair. In this paper, we present an embarrassingly simple but effective method to heuristically select evidence sentences for document-level RE, which can be easily combined with BiLSTM to achieve good performance on benchmark datasets, even better than fancy graph neural network based methods. We have released our code at https://github.com/AndrewZhe/Three-Sentences-Are-All-You-Need.

연구 동기 및 목표

• 문서 수준 관계 추출에서 인간 평가자가 엔티티 쌍 간의 관계를 결정하기 위해 얼마나 적은 수의 문장만으로도 충분한지 조사하는 것.
• 전체 문서를 사용할 경우의 비효율성을 해결하기 위해 관계 추론을 뒷받침하는 최소한의 관련 문장 집합을 식별하는 것.
• 복잡한 모델에 의존하지 않고 인간 평가자가 제공한 지원 증거를 근사하는 해석 가능한 히우리스틱 경로 선택 메커니즘을 설계하는 것.
• 선택된 경로들만 입력으로 사용할 때, 단순한 BiLSTM 모델이 더 복잡한 그래프 기반 방법들보다 최신 기준 성능을 달성할 수 있는지 평가하는 것.

제안 방법

• 이 방법은 국소적 증거 경로를 추출하기 위해 세 가지 히우리스틱 규칙을 정의한다: 연속 경로(3개 이내의 연속 문장 내 엔티티), 다단계 경로(비접속 문장 간 브리징 엔티티를 통해 연결된 엔티티), 기본 경로(기타 규칙이 실패할 경우 헤드 및 테일 엔티티를 포함하는 모든 문장 쌍).
• 선택된 경로들은 GloVe-100 단어 임베딩과 256의 히든 사이즈를 사용한 BiLSTM 인코더에 입력으로 사용된다.
• 주어진 엔티티 쌍에 대해 모든 경로의 예측을 집계할 때 가장 확신도 높은 관계 예측을 선택한다: $ P_{ij}(r) = \max_c P^c_{ij}(r) $.
• 이 방법은 그래프 신경망의 암묵적 어텐션 또는 메시지 전달 메커니즘과는 대조적으로, 불필요한 문서 내용을 명시적으로 필터링한다.
• 표준 F1 스코어를 사용하여 DocRED, CDR, GDA 세 가지 벤치마크 데이터셋에서 평가된다. 문장 내 및 문장 간 관계에 대해 각각 평가된다.
• 모델은 엔드 투 엔드로 훈련되고 평가되며, 순차 기반 및 그래프 기반 최신 기준 모델들과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 문서 수준 관계 추출에서 인간 평가자가 두 엔티티 간의 관계를 식별하기 위해 일반적으로 얼마나 많은 문장이 필요한가?
• RQ2 단순하고 해석 가능한 경로 선택 히우리스틱이 관계 추출을 위한 인간 평가자 기반 지원 증거를 효과적으로 근사할 수 있는가?
• RQ3 특정한 수의 관련 문장만을 명시적으로 선택하면, 전체 문서를 사용할 때보다 성능이 향상되는가? 특히 경량 모델인 BiLSTM와 조합했을 때.
• RQ4 선택된 경로들만 입력으로 사용할 때, BiLSTM 모델이 암묵적으로 정보를 필터링하는 더 복잡한 그래프 신경망 모델들을 능가할 수 있는가?
• RQ5 자연어 문서에서 관계 추론에 있어 몇 문장만으로도 충분한 이유를 설명할 수 있는 언어학적 또는 인지적 요인은 무엇인가?

주요 결과

• DocRED 데이터셋에서 95% 이상의 관계 인스턴스가 3개 이내의 지원 문장만 필요하며, 그 중 87%는 2개 이하의 문장만 필요하다.
• 제안된 히우리스틱 경로 선택 방법은 인간 평가자 기반 지원 증거의 최대 87.5%를 커버하여 인간의 평가 패턴과 강력한 일치를 보인다.
• 선택된 경로들만 사용하는 BiLSTM 모델은 테스트 F1 스코어 56.23%를 기록하여, 동일한 벤치마크에서 베이스라인 BiLSTM 및 최신 기준 그래프 기반 모델들을 모두 능가한다.
• 베이스라인 BiLSTM 대비 개발 세트에서 문장 내 관계 F1은 5.68% 향상되었고, 문장 간 관계 F1은 5.62% 향상되었다.
• 유사한 설정에서 최신 기준 그래프 기반 모델 대비 개발 세트에서 F1이 1.25% 높고, 테스트 세트에서 1.15% 높았다.
• 결과는 복잡한 모델의 암묵적 필터링보다 명시적이고 규칙 기반의 증거 선택 방식이 더 효과적일 수 있음을 시사하며, 문서 수준 관계 추출에서 해석 가능성과 최소한의 문맥의 가치를 강조한다.