[논문 리뷰] N-ary Relation Extraction using Graph State LSTM

Linfeng Song, Yue Zhang외 2명|arXiv (Cornell University)|2018. 08. 28.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 원래 입력 그래프 구조를 유지하는 그래프 상태 LSTM 모델을 제안하여, 순환 상태 전이를 통해 모든 노드—자매 노드 포함—간에 메시지 전달을 완전히 수행한다. 기존 방법들이 그래프를 두 개의 DAG로 분할하는 데 반해, 이 방법은 삼항 관계 추출에서 71.1%의 정확도를 달성하여 최신 기술인 양방향 DAG LSTM보다 1.2% 높으며, 더 나은 병렬 처리 능력과 구조 정보 유지 능력을 보여준다.

ABSTRACT

Cross-sentence $n$-ary relation extraction detects relations among $n$ entities across multiple sentences. Typical methods formulate an input as a extit{document graph}, integrating various intra-sentential and inter-sentential dependencies. The current state-of-the-art method splits the input graph into two DAGs, adopting a DAG-structured LSTM for each. Though being able to model rich linguistic knowledge by leveraging graph edges, important information can be lost in the splitting procedure. We propose a graph-state LSTM model, which uses a parallel state to model each word, recurrently enriching state values via message passing. Compared with DAG LSTMs, our graph LSTM keeps the original graph structure, and speeds up computation by allowing more parallelization. On a standard benchmark, our model shows the best result in the literature.

연구 동기 및 목표

• 기존의 $n$-ary 관계 추출 모델에서 입력 그래프를 두 개의 DAG로 분할하는 방식의 한계를 해결하기 위해, 이는 구조 정보 손실을 초래할 수 있다.
• 메시지 전달 중에 전체 그래프 구조를 유지함으로써 다중 문장 간 문법적 및 논의적 의존 관계를 더 잘 모델링하고자 한다.
• 순환 처리 시 노드 순서를 순차적으로 정하지 않음으로써 병렬 처리 및 계산 효율성을 향상시키고자 한다.
• 그래프 순환 네트워크(GRN)가 $n$-ary 관계 추출에서 의존 관계 및 논의적 관계를 모델링하는 데 얼마나 효과적인지 조사하고자 한다.
• 단일 그래프 LSTM이 관계 추출을 위한 문맥적 및 구조적 정보를 더 잘 포착할 수 있음을 입증하고자 한다.

제안 방법

• 모델은 입력 그래프의 모든 단어에서 공유되는 순환 상태를 유지하는 단일 그래프 상태 LSTM을 사용하여, 의존 관계 및 논의적 간선을 통해 이중 방향 메시지 전달을 가능하게 한다.
• 각 단어의 은닉 상태는 그래프 내 이웃 노드로부터의 정보를 집계함으로써 반복적으로 업데이트되며, 이는 다중 반복 단계 동안 문맥 확장을 가능하게 한다.
• 학습 및 추론 전반에 걸쳐 그래프 구조가 유지되어, 좌우 방향으로 나누는 DAG로 분할함으로써 발생하는 정보 손실을 방지한다.
• 그래프 순환 네트워크(GRN)를 확장하여, 그래프 구조 상태 공간 내에서 노드 간 정보 전파를 위해 게이트드 순환 유닛(GRU)을 적용한다.
• 각 반복 단계에서 단어 수준의 상태가 동시에 병렬로 업데이트되어, 순차적 DAG 처리 대비 계산 효율성이 향상된다.
• 모든 단어의 최종 은닉 상태를 사용하여 $n$-ary 관계를 분류하며, 문법적 및 논의적 간선을 통해 메시지 전달을 통해 특징을 통합한다.

실험 결과

연구 질문

• RQ1 완전한 그래프 구조를 유지함으로써, 통합된 그래프 상태 LSTM 모델이 분할된 DAG-LSTM 모델보다 $n$-ary 관계 추출에서 더 나은 성능을 내는가?
• RQ2 완전한 그래프 메시지 전달을 통해 자매 정보를 통합하면 관계 추출 정확도가 향상되는가?
• RQ3 이 작업에서 그래프 순환 네트워크가 DAG 기반 LSTM보다 더 나은 병렬 처리 및 계산 효율성을 달성할 수 있는가?
• RQ4 표준 벤치마크에서 그래프 상태 LSTM의 성능은 최신 기술인 양방향 DAG LSTM과 비교해 어떻게 되는가?
• RQ5 원래 그래프 구조를 유지함으로써, $n$-ary 관계의 문장 간 의존 관계 모델링 능력이 얼마나 향상되는가?

주요 결과

• 제안된 그래프 상태 LSTM은 삼항 관계 추출 벤치마크에서 71.1%의 정확도를 달성하여 이전 최신 기술인 양방향 DAG LSTM을 1.2%포인트 뛰어넘었다.
• 이진 관계 추출에서는 71.7%의 정확도를 기록하여, 양방향 DAG LSTM 기반 모델보다 5.9%포인트 높은 성능을 보였다.
• 다중 클래스 관계 추출에서 그래프 상태 LSTM과 DAG LSTM 기반 모델 간의 성능 격차가 크게 증가하여, 더 나은 문맥 표현 학습 능력을 보여주었다.
• 노드 순서 제약 조건이 없기 때문에, 모델은 우수한 병렬 처리 능력을 입증하여 모든 노드를 동시에 효율적으로 처리할 수 있었다.
• 원래 그래프를 유지함으로써, 자매 관계와 복잡한 의존 경로(예: "exon-19"와 "EGFR"을 연결하는 "gene" 경로)를 성공적으로 포착하였으며, 이는 DAG 분할 방법에서 손실된 바이다.
• 제거 실험을 통해 전체 그래프 구조 모델링이 교차 문장 $n$-ary 관계에서 장거리 및 다단계 의존 관계를 포착하는 데 핵심적임을 확인하였다.