[논문 리뷰] GDPNet: Refining Latent Multi-View Graph for Relation Extraction

Fuzhao Xue, Aixin Sun외 2명|arXiv (Cornell University)|2020. 12. 12.

Advanced Text Analysis Techniques인용 수 7

한 줄 요약

GDPNet는 BERT로 인코딩된 토큰에서 잠재적인 다중시각 그래프를 구성하고, 동적 시간 왜곡 풀링(DTWPool)을 통해 이를 정제함으로써 관련성이 높은 단어를 강조하는 그래프 기반 관계 추출 방법을 제안한다. 이는 대화 수준의 관계 추출에서 최고 성능을 기록하고 문장 수준 작업에서도 경쟁적인 성능을 보이며, 긴 시퀀스에서 핵심 관계 유도 토큰을 식별하는 데 뛰어난 능력을 입증한다.

ABSTRACT

Relation Extraction (RE) is to predict the relation type of two entities that are mentioned in a piece of text, e.g., a sentence or a dialogue. When the given text is long, it is challenging to identify indicative words for the relation prediction. Recent advances on RE task are from BERT-based sequence modeling and graph-based modeling of relationships among the tokens in the sequence. In this paper, we propose to construct a latent multi-view graph to capture various possible relationships among tokens. We then refine this graph to select important words for relation prediction. Finally, the representation of the refined graph and the BERT-based sequence representation are concatenated for relation extraction. Specifically, in our proposed GDPNet (Gaussian Dynamic Time Warping Pooling Net), we utilize Gaussian Graph Generator (GGG) to generate edges of the multi-view graph. The graph is then refined by Dynamic Time Warping Pooling (DTWPool). On DialogRE and TACRED, we show that GDPNet achieves the best performance on dialogue-level RE, and comparable performance with the state-of-the-arts on sentence-level RE.

연구 동기 및 목표

• 긴 텍스트에서 관계 추출을 위한 유의미한 단어를 식별하는 데 도전하는 것, 특히 대부분의 내용이 관련이 없는 대화에서 그러한 과제를 해결하는 것.
• 외부 파서나 수작업 규칙에 의존하지 않고도 작업에 특화된 그래프를 구축하고 정제하는 일반적이고 종단 간(end-to-end) 방법을 개발하는 것.
• 그래프 정제를 통해 BERT 기반 표현에서 정보가 풍부한 소수의 토큰에 집중함으로써 표현을 향상시키는 것.
• 특히 BERT가 불필요한 내용으로 인한 노이즈로 인해 성능이 떨어지는 대화 수준의 RE와 같은 긴 시퀀스 관계 추출 작업에서 성능을 향상시키는 것.

제안 방법

• 노드 표현을 가우시안 분포로 모델링하고 KL 발산을 통해 간선 가중치를 계산하는 가우시안 그래프 생성기(GGG)를 사용해 잠재적인 다중시각 그래프를 구성한다.
• 입력 토큰을 BERT로 인코딩하여 그래프 구축을 위한 노드 특징으로 사용되는 문맥 기반 표현을 생성한다.
• 하한 풀링 비율과 소프트DTW 정규화를 활용해 DTWPool를 적용하여 중요한 노드를 적응적으로 선택함으로써 그래프를 정제한다.
• 최종 관계 분류를 위해 정제된 그래프 표현을 BERT의 [CLS] 표현과 연결(concatenation)한다.
• 그래프 정제 과정을 유의미한 토큰 쪽으로 이끄는 소프트DTW 손실을 포함한 복합 손실을 사용해 모델을 종단 간으로 훈련한다.
• 다양한 시각을 통해 토큰 쌍 간의 비대칭적이고 복잡한 문법적 및 의미적 관계를 포괄한다.

실험 결과

연구 질문

• RQ1 잠재적인 다중시각 그래프는 긴 시퀀스에서 관계 추출을 위한 복잡하고 비대칭적인 토큰 간 관계를 효과적으로 모델링할 수 있는가?
• RQ2 DTWPool를 통한 그래프 정제는 노이즈가 많거나 긴 맥락에서 관계 유도 토큰의 식별을 향상시키는가?
• RQ3 대화 수준의 관계 추출에서 GDPNet은 외부 파서에 의존하는 BERT 기반 모델 및 그래프 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ4 긴 대화에서 반복적인 토큰보다 비반복적이고 정보가 풍부한 토큰을 DTWPool가 얼마나 높은 비율로 우선순위를 부여하는가?
• RQ5 그래프 기반 정제 메커니즘은 표준 BERT나 GCN 기반 모델보다 긴 시퀀스 관계 추출 작업에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• GDPNet은 DialogRE 데이터셋에서 가장 높은 F1 스코어를 기록하며, 대화 수준의 관계 추출에서 BERT 기반 모델과 다른 SOTA 방법들을 크게 앞서간다.
• TACRED에서 GDPNet은 최고 성능 모델들과 비교해 유사한 성능을 기록하며, 다양한 시퀀스 길이에 걸쳐 강력한 일반화 능력을 보여준다.
• DTWPool는 전체 토큰의 15.6%만 선택했음에도 불구하고 수작업으로 애너테이션된 트리거 단어의 32.1%를 선택하여 관계 유도 토큰 식별의 높은 정밀도를 입증한다.
• 모델은 반복적인 토큰보다 비반복적인 토큰의 비율을 더 높게 선택함으로써 정보가 풍부하고 맥락적으로 관련성이 높은 단어에 집중하고 있음을 확인한다.
• 소프트DTW 손실은 TACRED에서 DialogRE보다 더 효과적이며, 더 짧은 시퀀스 길이로 인해 유지 비율이 높아지고 손실 값이 낮아지기 때문이다.
• 외부 지식을 사용하지 않았음에도 불구하고, GDPNet은 TACRED-Revisit에서 KnowBERT보다 F1 점수를 거의 1점 높게 기록하며 자기 지도적 그래프 정제의 효과성을 입증한다.