[논문 리뷰] SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction

Yuxin Xiao, Zecheng Zhang외 3명|arXiv (Cornell University)|2021. 09. 24.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 문서 수준 관계 추출을 향상시키기 위해 중간 추론 단계인 공명 해결, 실체 유형 지정, 세밀한 증거 검색을 명시적으로 감독하고 증강하는 SAIS 방법을 제안한다. 이로 인해 DocRED, CDR, GDA에서 최신 기준 성능을 달성하였으며, 럨너업 대비 DocRED에서 증거 검색 F1 점수를 5.04% 상대적으로 향상시켰다.

ABSTRACT

Stepping from sentence-level to document-level, the research on relation extraction (RE) confronts increasing text length and more complicated entity interactions. Consequently, it is more challenging to encode the key information sources--relevant contexts and entity types. However, existing methods only implicitly learn to model these critical information sources while being trained for RE. As a result, they suffer the problems of ineffective supervision and uninterpretable model predictions. In contrast, we propose to explicitly teach the model to capture relevant contexts and entity types by supervising and augmenting intermediate steps (SAIS) for RE. Based on a broad spectrum of carefully designed tasks, our proposed SAIS method not only extracts relations of better quality due to more effective supervision, but also retrieves the corresponding supporting evidence more accurately so as to enhance interpretability. By assessing model uncertainty, SAIS further boosts the performance via evidence-based data augmentation and ensemble inference while reducing the computational cost. Eventually, SAIS delivers state-of-the-art RE results on three benchmarks (DocRED, CDR, and GDA) and outperforms the runner-up by 5.04% relatively in F1 score in evidence retrieval on DocRED.

연구 동기 및 목표

• 문서 수준 관계 추출에서 암묵적 감독의 한계를 해결하기 위해, 모델이 텍스트적 맥락과 실체 유형을 효과적으로 포착하지 못하는 문제를 해결한다.
• 각 관계에 대해 지지 증거를 명시적으로 검색함으로써 모델의 해석 가능성을 향상시킨다. 이를 위해 증거를 공유 세트로 간주하는 것이 아니라 개별적으로 처리한다.
• 핵심 공명 해결, 실체 유형 지정, 증거 검색을 보조 작업으로 통합한 다중 작업 학습을 통해 관계 추출 품질을 향상시킨다.
• 모델의 불확실성이 높을 때에만 증거 기반 데이터 증강과 앙상블 추론을 적용함으로써 계산 비용을 줄이고 성능을 높인다.
• DocRED, CDR, GDA 세 가지 벤치마크에서 최신 기준 성능을 입증하며, 관계 추출과 증거 검색 양 측면에서 측정 가능한 성과 향상을 보였다.

제안 방법

• SAIS는 네 가지 상호보완적인 중간 작업을 도입한다: 핵심 공명 해결(CR), 실체 유형 지정(ET), 풀링된 증거 검색(PER), 세밀한 증거 검색(FER). 각 작업은 별개의 정보 원천을 포착하도록 설계되었다.
• 모델는 관계 추출과 이 네 가지 보조 작업을 함께 학습함으로써, 텍스트 맥락(공명 해결, PER, FER를 통해)과 실체 유형 정보(ET를 통해)를 명시적으로 감독할 수 있다.
• 모델 신뢰도가 낮을 경우에만 증거 기반 데이터 증강을 적용한다: 예측된 증거를 바탕으로 가짜 문서와 어텐션 마스크를 생성함으로써 견고성을 향상시킨다.
• 불확실성 기반 앙상블 추론을 선택적으로 적용한다: 불확실성 점수가 임계값을 초과할 경우에만 예측을 통합함으로써 계산 효율성을 유지한다.
• 이 방법은 BERT 기반 아키텍처를 활용하며, 작업 간 공유 표현을 적용한 다중 작업 학습을 통해 관계 추출과 증거 검색을 동시에 최적화한다.
• 제거 실험을 통해 각 중간 작업의 필요성을 확인하였으며, FER는 각 관계에 고유한 증거를 할당함으로써 특히 해석 가능성에 기여함을 보였다.

실험 결과

연구 질문

• RQ1 핵심 공명 해결 및 실체 유형 지정과 같은 중간 추론 단계를 명시적으로 감독하면 문서 수준 관계 추출의 품질이 향상되는가?
• RQ2 각 관계에 고유한 증거를 할당하는 세밀한 증거 검색(FER)이 풀링된 증거 검색(PER)보다 더 해석 가능하고 정확한 예측을 이끌어내는가?
• RQ3 모델의 불확실성 상황에서만 적용되는 증거 기반 데이터 증강이 계산 비용을 크게 증가시키지 않고 성능 향상을 이끌 수 있는가?
• RQ4 텍스트 맥락과 실체 유형 정보가 함께 관계 추출에 기여하는 방식은 무엇이며, 이들의 영향을 분리하고 측정할 수 있는가?
• RQ5 CR, ET, PER, FER를 포함한 다중 작업 학습이 문서 수준 RE에서 표준 엔드 투 엔드 학습보다 우수한 성능을 내는가?

주요 결과

• SAIS는 DocRED, CDR, GDA 세 벤치마크에서 최신 기준 성능을 달성하였으며, 본 논문에서 보고된 가장 높은 F1 점수를 기록했다.
• DocRED 벤치마크에서 SAIS는 런너업 대비 증거 검색 F1 점수를 5.04% 상대적으로 향상시켜 더 뛰어난 해석 가능성임을 입증했다.
• 제거 실험 결과, 네 가지 중간 작업(CR, ET, PER, FER) 중 어느 하나라도 제거하면 F1 점수가 하락함을 확인하였으며, 이는 각 작업이 상호보완적인 역할을 한다는 것을 뒷받침한다.
• 실체 유형 지정만을 사용하는 변형(SAIS_RE+ET)은 실체 유형 오분류로 인해 '시민권'을 잘못 예측하지만, 전체 SAIS 모델은 맥락과 유형 정보를 통합하여 'country_of_origin'를 정확히 식별한다.
• 사례 연구에서 PER는 서로 다른 문장의 모순되는 증거를 통합하는 경향이 있었지만, FER는 각 관계에 고유한 증거 세트를 할당함으로써 PER보다 증거 검색에서 뛰어난 성능을 보였다.
• 증거 기반 데이터 증강과 불확실성 인식 앙상블 추론은 BERT-base에 대한 제거 실험으로 확인된 바와 같이, 계산 비용을 거의 증가시키지 않으면서 성능 향상을 이끌어냈다.