[논문 리뷰] GraphIE: A Graph-Based Framework for Information Extraction

Yujie Qian, Enrico Santus외 3명|arXiv (Cornell University)|2018. 10. 31.

Topic Modeling참고 문헌 32인용 수 65

한 줄 요약

GraphIE는 작업 특성 그래프에 대한 그래프 합성곱 신경망 모듈을 도입하여 시퀀스 태깅에 비지역 컨텍스트를 주입하고, 강력한 SeqIE baseline에 비해 텍스트, 소셜 미디어, 시각 도메인에서 정보 추출을 향상시킵니다.

ABSTRACT

Most modern Information Extraction (IE) systems are implemented as sequential taggers and only model local dependencies. Non-local and non-sequential context is, however, a valuable source of information to improve predictions. In this paper, we introduce GraphIE, a framework that operates over a graph representing a broad set of dependencies between textual units (i.e. words or sentences). The algorithm propagates information between connected nodes through graph convolutions, generating a richer representation that can be exploited to improve word-level predictions. Evaluation on three different tasks --- namely textual, social media and visual information extraction --- shows that GraphIE consistently outperforms the state-of-the-art sequence tagging model by a significant margin.

연구 동기 및 목표

• 정보 추출 모델이 로컬 단어 시퀀스를 넘어 비지역 및 비연속 맥락을 활용하도록 동기를 부여한다.
• 그래프 합성곱을 통해 정보를 전파하는 그래프 기반 인코더-디코더 프레임워크 GraphIE를 제안한다.
• 작업 특성 그래프를 사용하여 텍스트, 소셜 미디어 및 시각 IE 작업에서 GraphIE의 효과를 입증한다.

제안 방법

• 인코더는 BiLSTM 및 CharCNN 특징으로 텍스트 단위(단어 또는 문장)에 대한 로컬 컨텍스트 표현을 생성한다.
• 그래프 모듈은 텍스트 단위 간의 그래프 구조적 의존성에서 정보를 전파하기 위해 Graph Convolutional Network(GCN)을 적용한다.
• 디코더는 BiLSTM+CRF 태거이며, 그래프 출력은 컨텍스트 정보를 주입하기 위해 디코더 은닉 상태를 초기화한다.
• 문장 수준 그래프와 단어 수준 그래프를 모두 지원하여 비지역 컨텍스트를 가능하게 하고 태깅 모호성을 줄인다.
• 에지 유형은 개별 가중치로 모델링할 수 있으며, 다층 GCN은 그래프상의 수용 영역을 확장한다.
• 학습은 드롭아웃 정규화를 가진 Adam을 사용하여 CRF 목표를 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 기반 모듈이 비지역 의존성을 포착하여 IE에서 단어 수준 태깅을 개선할 수 있는가?
• RQ2 작업 특성 그래프(단어 수준 또는 문장 수준)가 순차적 baselines보다 성능을 향상시키는 귀납 편향을 제공하는가?
• RQ3 텍스트, 소셜 미디어, 시각 IE 작업에서 GraphIE의 성능은 SeqIE baselines와 비교해 어떤가?
• RQ4 그래프 구조의 기여도와 단순한 특징 보강 또는 무작위 연결이 성능 향상에 미치는 영향은 무엇인가?
• RQ5 GraphIE가 보지 못한 입력 레이아웃과 비지역 의존성이 있는 레이아웃에 일반화되는가?

주요 결과

Dataset	Model	F1
CoNLL03	GraphIE	91.74
Chemdner	GraphIE	89.71

• GraphIE는 세 가지 IE 작업에서 SeqIE(BiLSTM+CRF)보다 일관되게 향상된다: 텍스트( CoNLL03 및 Chemdner ), 소셜 미디어(Education 및 Job), 시각 IE(AECR).
• CoNLL03에서 GraphIE는 91.74 F1을 달성했고 SeqIE의 91.16을 능가한다.
• Chemdner에서 GraphIE는 89.71 F1에 도달하여 SeqIE의 88.28보다 낫다.
• 소셜 미디어에서 GraphIE는 더 큰 향상을 보이며, 특히 Education 추출에서 SeqIE보다 3.7% 포인트 증가.
• 시각 IE에서 GraphIE는 속성 전반에 걸쳐 SeqIE 대비 마이크로 F1을 약 1.2% 향상시킨다.
• 아블레이션 연구는 에지 유형 인식, 수평/수직 에지 기여, 그리고 CRF 계층이 각각 성능을 의미 있게 향상시킴을 보여준다.