[논문 리뷰] Attention Guided Graph Convolutional Networks for Relation Extraction

Zhijiang Guo, Yan Zhang외 1명|arXiv (Cornell University)|2019. 06. 18.

Topic Modeling참고 문헌 42인용 수 82

한 줄 요약

AGGCN은 다중 헤드 어텐션과 밀집 연결을 이용해 전체 의존 트리에 대해 소프트 프루닝을 학습하고, 교차 문장 n-ary 및 문장 수준 작업에서 관계 추출을 개선하여 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Dependency trees convey rich structural information that is proven useful for extracting relations among entities in text. However, how to effectively make use of relevant information while ignoring irrelevant information from the dependency trees remains a challenging research question. Existing approaches employing rule based hard-pruning strategies for selecting relevant partial dependency structures may not always yield optimal results. In this work, we propose Attention Guided Graph Convolutional Networks (AGGCNs), a novel model which directly takes full dependency trees as inputs. Our model can be understood as a soft-pruning approach that automatically learns how to selectively attend to the relevant sub-structures useful for the relation extraction task. Extensive results on various tasks including cross-sentence n-ary relation extraction and large-scale sentence-level relation extraction show that our model is able to better leverage the structural information of the full dependency trees, giving significantly better results than previous approaches.

연구 동기 및 목표

• 하드 프루닝 없이 의존 트리 정보를 관계 추출에 더 잘 활용하도록 동기를 부여한다.
• 전체 의존 트리에서 에지 가중치를 학습하는 엔드-투-엔드 모델을 제안하여 정보의 포함과 제외를 균형 있게 조정한다.
• 효율적인 학습을 유지하면서 더 깊은 그래프 표현을 가능하게 하기 위해 밀집 연결을 활용한다.
• 교차 문장 n-ary 관계 추출 및 대규모 문장 수준 추출 작업에서 최첨단 성능을 입증한다.

제안 방법

• 의존 트리를 다중헤드 자기 주의를 통해 주의 가이드된 인접 행렬을 생성하는 완전 연결 에지 가중 그래프로 변환한다.
• 밀집 연결을 사용하여 더 깊지만 매개변수 효율적인 그래프 컨볼루션 네트를 구축하고 많은 홉에 걸쳐 정보를 전달한다.
• 각 AGGCN 블록에서 주의 가이드된 밀집 연결 층으로 처리하고 선형 결합 층을 통해 출력을 결합한다.
• 토큰 표현을 최대 풀링으로 집계하여 문장 및 엔티티 표현을 얻은 다음, 결합하고 FFNN을 통해 최종 관계 분류를 수행한다.
• 에지 가중치를 엔드투엔드로 학습하는 동안 기본 구조 정보를 보존하기 위해 원래 인접성을 초기화로 유지하여 기본 구조 정보를 보존하면서 끝까지 에지 가중치를 학습한다.

실험 결과

연구 질문

• RQ1 주목을 통한 소프트 프루닝이 관계 추출을 위한 전체 의존 트리에서 관련 부분 구조를 효과적으로 식별할 수 있는가?
• RQ2 밀집 연결된 GCN이 프루닝 없이 더 깊은 그래프에서 효과적으로 학습하도록 하여 비지역 의존성 모델링을 향상시키는가?
• RQ3 프루닝된 트리 GCN 및 다른 기준선과 비교하여 AGGCN은 교차 문장 n-ary 관계 추출 및 대규모 문장 수준 관계 추출에서 어떻게 성능을 보이나?
• RQ4 주의 가이드 계층과 밀집 연결이 전체 성능에 기여하는 바(에블레이션 분석)는 무엇인가?

주요 결과

• AGGCN은 교차 문장 n-ary 관계 추출에서 최첨단 결과를 달성하여 다중 클래스 삼항 및 이진 추출에서 각각 정확도 8%와 6% 포인트를 넘어선 이전 모델들을 능가한다.
• TACRED 문장 수준 데이터셋에서 C-AGGCN (with biLSTM)은 69.0 F1를 달성하여 Baseline C-GCN을 능가하고 여러 의존성 기반 방법에 근접하거나 능가한다.
• C-AGGCN은 프루닝된 트리를 사용하는 GCN 기반 모델을 일관되게 능가하며, 소프트 프루닝과 밀집 연결과 함께 전체 트리 정보의 이점을 강조한다.
• 에블레이션 연구는 주의 가이드 계층과 밀집 연결 모두 성능 향상에 기여하는 것으로 나타났으며, 주의 구성 요소가 상당한 개선을 제공하고, 피드포워드 계층도 성능에 도움을 준다.