[논문 리뷰] Relation of the Relations: A New Paradigm of the Relation Extraction Problem

Zhijing Jin, Yongyi Yang외 2명|arXiv (Cornell University)|2020. 06. 05.

Topic Modeling참고 문헌 32인용 수 12

한 줄 요약

이 논문은 관계 추출의 새로운 범주를 제안하며, 텍스트 내 모든 관계를 동시에 모델링하여 관계의 관계(RoR) 현상을 그래프 신경망(GNN)과 행렬 트랜스포머를 통해 포착한다. 이 방법은 ACE05에서 +1.12%, SemEval 2018 Task 7.2에서 +2.55%의 성능 향상을 기록하여 다중관계 일반화 및 조건부 확률 학습에서 뚜렷한 성과를 보였다.

ABSTRACT

In natural language, often multiple entities appear in the same text. However, most previous works in Relation Extraction (RE) limit the scope to identifying the relation between two entities at a time. Such an approach induces a quadratic computation time, and also overlooks the interdependency between multiple relations, namely the relation of relations (RoR). Due to the significance of RoR in existing datasets, we propose a new paradigm of RE that considers as a whole the predictions of all relations in the same context. Accordingly, we develop a data-driven approach that does not require hand-crafted rules but learns by itself the RoR, using Graph Neural Networks and a relation matrix transformer. Experiments show that our model outperforms the state-of-the-art approaches by +1.12\% on the ACE05 dataset and +2.55\% on SemEval 2018 Task 7.2, which is a substantial improvement on the two competitive benchmarks.

연구 동기 및 목표

• 기존의 관계 추출 방법이 각 엔티티 쌍을 독립적으로 다루기 때문에 효율성이 떨어지고 상호의존성이 누락된다는 문제를 해결하기 위해.
• 한 텍스트 내에서 상호 영향을 주고받는 '관계의 관계'(RoR) 현상을 식별하고 활용하기 위해.
• 규칙 기반 접근 없이 데이터 기반으로 통합된 프레임워크 내에서 이변수 및 다변수 관계적 의존성을 포착하는 방법을 개발하기 위해.
• 기존 모델이 어려움을 겪는 복잡한 다중관계 텍스트, 특히 세 개 이상의 관계에 관여하는 엔티티를 다룰 때 성능을 향상시키기 위해.

제안 방법

• 모델은 관계 추출을 행렬 예측 작업으로 설정하여, 텍스트 내 모든 엔티티 쌍을 관계 행렬 R ∈ ℝ^{M×M}로 표현한다.
• 각 관계를 그래프의 노드로 간주하여 그래프 신경망(GNN)을 활용해 관계 간 이변수 의존성을 모델링한다.
• 행렬 트랜스포머를 적용하여 관계 간 고차원 상관관계와 수치적 패턴(예: 관계 수, 동시 발생 구조 등)을 포착한다.
• 모델은 단일 순방향 전파 과정에서 모든 관계를 동시에 예측함으로써, 쌍별로 독립적으로 분류하지 않고 상호의존적인 관계를 종합적으로 학습할 수 있다.
• 수작업된 규칙나 히ュ리스틱에 의존하지 않고, 데이터에서 직접 RoR 패턴을 학습한다.
• 주의 메커니즘이 관계적 의존성의 동적 가중치 조정을 가능하게 하여, 표준 벤치마크에서 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 텍스트 내 모든 관계를 동시에 모델링할 경우, 쌍별 독립 분류 대비 관계 추출 성능 향상 정도는 어떠한가?
• RQ2 동일한 맥락 내에서 다른 관계가 관찰된 경우, 관계의 조건부 확률 분포를 얼마나 잘 학습할 수 있는가?
• RQ3 GNN 기반 접근 방식은 다중관계 설정에서 이변수 관계적 의존성을 효과적으로 포착할 수 있는가?
• RQ4 행렬 트랜스포머 컴포넌트는 국소적인 쌍을 넘어서 글로벌 관계 패턴을 어떻게 향상시키는가?
• RQ5 새로운 범주가 높은 관계 복잡도를 지닌 도전적인 서브셋에서 측정 가능한 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 모델은 전체 ACE05 테스트 세트에서 63.55%의 F1 스코어를 기록하여 보고된 SOTA인 64.26%에 근접했다.
• 세 개 이상의 관계에 관여하는 엔티티를 포함하는 더 도전적인 서브셋에서는 56.63%의 F1 스코어를 기록하여 OnePass 대비 3.81%포인트 높은 성능을 보였다.
• 골드 조건부 확률 분포와의 젠센-쇼넬리(JS) 발산을 OnePass 대비 60% 감소시켜, 관계적 의존성 학습 능력이 뛰어나다는 것을 시사했다.
• ACE05에서 SOTA 성능을 +1.12% 향상시키고, SemEval 2018 Task 7.2에서는 +2.55% 향상시켜 경쟁 벤치마크에서 뚜렷한 성과를 보였다.
• 제거 실험을 통해 GNN 및 행렬 트랜스포머 컴포넌트가 복잡한 관계적 맥락에서 성능 향상에 기여하고 있음을 확인했다.
• 고복잡도 예제로의 일반화 능력이 뛰어나, RoR 모델링이 다수의 관계가 동시에 공존할 경우 특히 유익함을 보였다.