[논문 리뷰] HIN: Hierarchical Inference Network for Document-Level Relation Extraction

Hengzhu Tang, Yanan Cao외 5명|arXiv (Cornell University)|2020. 03. 28.

Topic Modeling참고 문헌 18인용 수 11

한 줄 요약

이 논문은 문서 수준 관계 추출을 위한 계층적 추론 네트워크(HIN)를 제안하며, 엔티티, 문장, 문서 수준에서 다중 해상도 추론을 모델링한다. 엔티티 수준 추론에 영역 간 이동 제약 조건과 이중선형 변환을 다중 하위공간에 적용하고, 문장 수준 매칭에 어텐션 기반 기법을 사용하며, 문서 수준 집계에 계층적 BiLSTM와 어텐션을 적용함으로써 HIN은 DocRED 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 지원 문장 수가 증가할수록 성능 향상이 두드러진다.

ABSTRACT

Document-level RE requires reading, inferring and aggregating over multiple sentences. From our point of view, it is necessary for document-level RE to take advantage of multi-granularity inference information: entity level, sentence level and document level. Thus, how to obtain and aggregate the inference information with different granularity is challenging for document-level RE, which has not been considered by previous work. In this paper, we propose a Hierarchical Inference Network (HIN) to make full use of the abundant information from entity level, sentence level and document level. Translation constraint and bilinear transformation are applied to target entity pair in multiple subspaces to get entity-level inference information. Next, we model the inference between entity-level information and sentence representation to achieve sentence-level inference information. Finally, a hierarchical aggregation approach is adopted to obtain the document-level inference information. In this way, our model can effectively aggregate inference information from these three different granularities. Experimental results show that our method achieves state-of-the-art performance on the large-scale DocRED dataset. We also demonstrate that using BERT representations can further substantially boost the performance.

연구 동기 및 목표

• 기존 문서 수준 관계 추출 모델이 엔티티 수준 정보에만 의존하고 문장 및 문서 수준 추론을 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 엔티티, 문장, 문서 세 가지 해상도에서 효과적으로 추론 정보를 캡처하고 집계할 수 있는 신경망 아키텍처를 설계하기 위해.
• 상호 문장 간 추론, 공통 지식, 공백 해소 등이 필요한 복잡한 관계 추론 작업의 성능을 향상시키기 위해.
• 특히 장문 또는 다중 문장 추론 시나리오에서 지원 문장 수가 변할 경우 모델의 강인성을 평가하기 위해.

제안 방법

• 엔티티 수준 추론은 다중 하위공간에 적용된 이동 제약 조건과 이중선형 변환을 사용하여 대상 엔티티 쌍을 표현한다.
• 문장 수준 추론은 일반 어텐션 기반 기법을 사용해 문장 표현에 주목하고, 이를 엔티티 수준 표현과 의미 매칭 기법을 통해 매칭한다.
• 문서 수준 추론은 문장 수준 추론 표현을 인코딩하는 계층적 BiLSTM를 통해 캡처하고, 중요한 문장을 강조하기 위해 추가 어텐션 기법을 적용한다.
• 엔티티 수준과 문서 수준의 추론 표현을 결합하여 고정 길이 벡터로 만든 후 최종 분류를 수행한다.
• 문맥 표현 품질 향상을 위해 BERT 임베딩을 모델에 통합한다.
• 세밀한(엔티티)에서 거친(문서) 수준으로 정보가 흐르도록 계층적 집계 전략을 보장함으로써 복잡한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 계층적 추론 프레임워크는 문서 수준 관계 추출을 위한 다중 해상도 추론(엔티티, 문장, 문서)을 효과적으로 모델링할 수 있는가?
• RQ2 지원 문장 수가 증가할수록 제안된 HIN 모델은 이전 방법들에 비해 어떻게 성능을 발휘하는가?
• RQ3 BERT 표현을 통합할 경우 문서 수준 관계 추출 성능에 얼마나 기여하는가?
• RQ4 실제 문서에서 논리적 추론, 공백 해소, 일반 지식 추론과 같은 복잡한 추론 유형을 모델이 처리할 수 있는가?

주요 결과

• HIN은 대규모 DocRED 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 표준 설정과 BERT 기반 설정 모두에서 이전 방법들을 능가한다.
• 지원 문장 수가 증가할수록 기준 모델들에 비해 뚜렷한 성능 향상을 보이며, 복잡한 다중 문장 관계 사실을 처리하는 데 뛰어난 능력을 입증한다.
• BERT 표현을 사용할 경우 성능이 크게 향상되어 장거리 의존성을 잘 포착하는 문맥 임베딩의 효과를 입증한다.
• 제거 실험 결과, 계층적 추론 메커니즘과 다중 해상도 집계 전략이 성능 향상에 핵심적인 역할을 한다는 점이 확인되었다.
• 사례 연구 결과, HIN은 논리적 추론(예: 사실의 연쇄)과 공백 해소를 정확히 식별하는 데 성공했으며, BERT-RE는 이러한 경우에서 실패함을 보였다.