[논문 리뷰] RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information

Shikhar Vashishth, Rishabh Joshi외 3명|arXiv (Cornell University)|2018. 12. 11.

Topic Modeling참고 문헌 27인용 수 24

한 줄 요약

RESIDE는 구조적 구문 정보를 활용하여 관계 추출 성능을 향상시키는 신경망 관계 추출 모델로, 실체 유형과 관계 앨리어스와 같은 부가 정보를 부드러운 제약 조건을 통해 통합한다. 구문적 구조는 그래프 컬러션 네트워크(GCN)를 사용해 인코딩되며, 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 부가 정보가 제한된 경우에도 효과를 보이며, 체계적인 부가 정보 통합의 효과를 입증한다.

ABSTRACT

Distantly-supervised Relation Extraction (RE) methods train an extractor by automatically aligning relation instances in a Knowledge Base (KB) with unstructured text. In addition to relation instances, KBs often contain other relevant side information, such as aliases of relations (e.g., founded and co-founded are aliases for the relation founderOfCompany). RE models usually ignore such readily available side information. In this paper, we propose RESIDE, a distantly-supervised neural relation extraction method which utilizes additional side information from KBs for improved relation extraction. It uses entity type and relation alias information for imposing soft constraints while predicting relations. RESIDE employs Graph Convolution Networks (GCN) to encode syntactic information from text and improves performance even when limited side information is available. Through extensive experiments on benchmark datasets, we demonstrate RESIDE's effectiveness. We have made RESIDE's source code available to encourage reproducible research.

연구 동기 및 목표

• 지식 기반에서 유래한 노이즈가 많은 훈련 인스턴스에 의존하는 원거리 감독 관계 추출의 한계를 해결하기 위해.
• 지식 기반에 존재하는 실체 유형과 관계 앨리어스와 같은 부가 정보의 잠재적 활용 가능성을 탐색하기 위해.
• 관계 예측 과정에서 부드러운 제약 조건을 부여할 수 있도록 체계적인 방식으로 부가 정보를 통합하는 신경망 모델을 설계하기 위해.
• 부가 정보, 특히 관계 앨리어스의 효과를 저자원 설정에서 모델의 강건성과 성능 향상 측면에서 평가하기 위해.

제안 방법

• RESIDE는 이중 스트림 방식을 사용해 문장을 인코딩한다: Bi-GRU를 통해 문맥적 단어 임베딩을 처리하고, 의존성 분석에서 유도된 문법적 의존성을 모델링하기 위해 그래프 컬러션 네트워크(GCN)를 활용한다.
• 토큰 수준의 표현을 문장 수준 표현으로 통합하기 위해 단어 수준 어텐션을 적용한다.
• 실체 유형과 관계 앨리어스 정보는 임베딩된 후 문장 표현과 연결되어 문장 수준 어텐션 계산에 사용된다.
• 관계 분류 과정에서 부가 정보를 어텐션 및 분류 레이어에 통합함으로써 부드러운 제약 조건을 적용한다.
• 모델은 소프트맥스 분류기를 사용해 관계를 예측하며, 부가 정보가 예측 과정을 유의미한 관계로 유도하도록 이끈다.
• 부가 정보를 보조적 감독으로 통합하여 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 실체 유형과 관계 앨리어스 부가 정보를 통합할 경우 원거리 감독 관계 추출의 성능에 어떤 영향을 미치는가?
• RQ2 표준 RNN 또는 CNN과 비교해, 구문 인코딩에 그래프 컬러션 네트워크(GCN)를 사용할 경우 관계 추출 성능에 어떤 정도 향상이 이루어지는가?
• RQ3 제한된 또는 전혀 관계 앨리어스 정보가 없는 경우 RESIDE는 어떻게 성능을 내는가?
• RQ4 실체 유형과 관계 앨리어스 정보 중 어느 것이 모델 일반화 능력 향상에 더 큰 기여를 하는가?
• RQ5 표준 설정과 저자원 설정 모두에서 RESIDE는 최신 기술 수준의 신경망 기반 모델을 능가하는가?

주요 결과

• RESIDE는 Riedel 및 GDS 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성했으며, 모든 평가 지표에서 PCNN, PCNN+ATT, BGWA를 앞서나간다.
• Riedel 데이터셋에서 RESIDE는 P@100이 84.0, P@200가 78.5, P@300가 75.6을 기록하며, 다음으로 우수한 베이스라인인 BGWA를 크게 앞서나간다.
• 제거 실험 결과, GCN나 부가 정보를 제거할 경우 성능이 크게 하락함을 확인하여, 두 구성 요소의 중요성을 입증한다.
• 예를 들어 관계 이름 그 자체만으로도 하나의 관계 앨리어스가 제공될 경우에도 RESIDE는 강력한 성능 유지를 보이며, 제한된 부가 정보에 대한 강건성을 입증한다.
• Wikidata 지식 기반에서 유도된 관계 앨리어스를 사용할 경우 RESIDE는 가장 높은 성능을 기록하여, 더 rich한 부가 정보가 결과 향상에 기여함을 확인한다.
• 한 개, 두 개 또는 모든 문장으로 구성된 백크(배치) 크기의 다양한 훈련 설정에서도 일관된 성능 향상을 유지함으로써, 다양한 환경에서의 효과성을 입증한다.