[논문 리뷰] Span Model for Open Information Extraction on Accurate Corpus

Junlang Zhan, Hai Zhao|arXiv (Cornell University)|2019. 01. 30.

Natural Language Processing Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 $n$-항 오픈 정보 추출을 위한 스파이크 기반 모델인 SpanOIE를 제안하며, 추출 정확도를 향상시키기 위해 수정된 스파이크 선택 프레임워크를 활용한다. 고품질의 수동 재표기된 테스트 세트(Re-OIE2016)와 낮은 신뢰도이지만 유용한 추출을 포함한 개선된 트레이닝 코퍼스를 도입하여, OIE2016 및 Re-OIE2016 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Open information extraction (Open IE) is a challenging task especially due to its brittle data basis. Most of Open IE systems have to be trained on automatically built corpus and evaluated on inaccurate test set. In this work, we first alleviate this difficulty from both sides of training and test sets. For the former, we propose an improved model design to more sufficiently exploit training dataset. For the latter, we present our accurately re-annotated benchmark test set (Re-OIE6) according to a series of linguistic observation and analysis. Then, we introduce a span model instead of previous adopted sequence labeling formulization for n-ary Open IE. Our newly introduced model achieves new state-of-the-art performance on both benchmark evaluation datasets.

연구 동기 및 목표

• 노이즈가 많은 자동으로 구성된 트레이닝 및 테스트 코퍼스로 인해 오픈 정보 추출 시스템이 취약해지는 문제를 해결한다.
• 트레이닝 데이터에 있는 낮은 신뢰도이지만 잠재적으로 유용한 추출을 활용하여 모델 성능을 향상시킨다.
• 노이즈를 줄이고 평가 신뢰도를 향상시키기 위해 OIE2016 테스트 세트를 수동으로 재표기하여 더 정확한 벤치마크를 개발한다.
• 기존의 순서 레이블링을 넘어서 스파이크 수준의 특징을 더 잘 활용할 수 있도록 $n$-항 오픈 정보 추출을 위한 스파이크 기반 모델을 제안한다.
• 구문적 의존 정보가 오픈 정보 추출 성능에 미치는 영향을 문법 인식 스파이크 특징을 사용하여 조사한다.

제안 방법

• 예측 및 인자 역할을 위한 스파이크 선택 모델을 설계하여 오픈 정보 추출을 신경망 인코딩 기반의 점수 함수를 사용한 스파이크 선택 문제로 재정의한다.
• OpenIE4에서 유래한 낮은 신뢰도 튜플을 포함하여 $n$-항 추출을 지원하는 방법을 확장함으로써 대규모 트레이닝 코퍼스를 구축한다.
• 의존 구문 분석 정보(예: 부모 단어 표현)를 스파이크 임베딩에 통합하는 문법 인식 스파이크 특징을 도입한다.
• BiLSTM 기반 인코더를 사용하여 문맥 기반 단어 표현을 생성한 후, 연결 및 투영 레이어를 통해 스파이크 수준의 점수를 계산한다.
• 스파이크 표현에 대해 다중 헤드 어텐션 메커니즘을 적용하여 예측을 정밀화하고 일반화 성능을 향상시킨다.
• 문법 무관 및 문법 인식 특징을 모두 사용하여 모델을 재학습함으로써 문법 정보의 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 스파이크 기반 모델이 $n$-항 오픈 정보 추출에서 기존의 순서 레이블링 접근 방식을 능가할 수 있는가?
• RQ2 OpenIE4에서 유래한 낮은 신뢰도 추출을 트레이닝 데이터에 포함시키면 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 스파이크 수준의 특징에 통합된 구문적 의존 정보가 오픈 정보 추출 성능에 얼마나 기여하는가?
• RQ4 수동으로 재표기된 테스트 세트(Re-OIE2016)는 자동으로 구성된 벤치마크에 비해 오픈 정보 추출 평가의 신뢰도를 얼마나 향상시키는가?
• RQ5 통합된 모델이 복잡한 문법적 구조에서 대명사 및 비대명사 인자를 효과적으로 추출할 수 있는가?

주요 결과

• SpanOIE는 OIE2016 벤치마크에서 F1 점수 0.639를 기록하여 이전 모델을 능가하는 새로운 최고 성능을 달성한다.
• 최근 도입된 Re-OIE2016 벤치마크에서 SpanOIE는 F1 점수 0.639를 기록하여 더 깔끔하고 수동으로 검증된 테스트 세트에서 뛰어난 정확도와 강건성을 입증한다.
• 트레이닝 데이터에 낮은 신뢰도 추출을 포함시키면 복잡하거나 희귀한 인자 패턴을 처리하는 데 있어 성능 향상이 눈에 띄게 발생한다.
• 문법 인식 스파이크 특징은 문법 무관 모델 대비 약간의 성능 저하를 보였다(OIE2016에서 AUC 0.487, Re-OIE2016에서 0.639), 이는 트레이닝 데이터의 노이즈와 파싱 오류가 문법적 이점의 잠재력을 제한함을 시사한다.
• 모델는 먼 주어를 가진 현재분词 서술어와 같은 어려운 추출 패턴을 성공적으로 포착했으며, [Yost was named manager...]와 같은 사례에서 이전 모델보다 향상된 성능을 보였다.
• 한계가 있음에도 불구하고, 모델는 $n$-항 오픈 정보 추출에 스파이크 수준 모델링을 적용할 수 있음을 입증했으며, 향후 잠재력을 최대한 발휘하기 위해서는 더 고품질의 트레이닝 데이터와 문법 입력이 필요하다는 점을 시사한다.