[논문 리뷰] Distant IE by Bootstrapping Using Lists and Document Structure

Lidong Bing, Mingyang Ling외 2명|arXiv (Cornell University)|2016. 01. 04.

Natural Language Processing Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 그래프 상의 레이블 전파를 통해 목록 구조와 문서 섹션 경계를 활용하여 잡음이 많은 훈련 데이터를 줄이는 원거리 지도 학습 방법인 DIEBOLDS를 제안한다. 작은 잘 구조화된 코퍼스에서 시작하여 큰 비구조화된 대상 코퍼스를 향해 성능을 향상시키는 부트스트래핑 프레임워크로서, 한 작업에서 F1 점수를 두 배로 높이고 Freebase 기준선 대비 정밀도와 재현율을 크게 향상시킨다.

ABSTRACT

Distant labeling for information extraction (IE) suffers from noisy training data. We describe a way of reducing the noise associated with distant IE by identifying coupling constraints between potential instance labels. As one example of coupling, items in a list are likely to have the same label. A second example of coupling comes from analysis of document structure: in some corpora, sections can be identified such that items in the same section are likely to have the same label. Such sections do not exist in all corpora, but we show that augmenting a large corpus with coupling constraints from even a small, well-structured corpus can improve performance substantially, doubling F1 on one task.

연구 동기 및 목표

• 지능형 지도 학습에서 KB 매칭 오류로 인해 잘못된 훈련 레이블이 생성되는 높은 노이즈 비율 문제를 해결하기 위해.
• 텍스트 내의 구조적 제약 조건을 식별하고 활용하여 원거리 레이블링된 훈련 데이터의 품질을 향상시키기 위해.
• 목록과 섹션 수준의 결합을 사용한 원거리 지도 학습과 레이블 전파를 융합한 부트스트래핑 프레임워크를 개발하기 위해.
• 작고 잘 구조화된 코퍼스에서 유래한 구조 신호를 활용하여 큰 비구조화된 코퍼스(예: 약물 및 질병 문서)에서 관계 추출 성능을 향상시키기 위해.
• 공백 목록과 섹션 경계와 같은 구조적 신호가 대상 코퍼스에 이러한 구조가 없더라도 원거리 지도 학습 IE 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• DIEBOLDS는 큰 대상 코퍼스와 작은 잘 구조화된 코퍼스를 분석하여 NP 구간과 그 특징을 추출한다.
• 세 가지 유형의 결합을 식별한다: 목록 결합(목록 내 항목은 동일한 레이블을 가질 가능성이 높음), 섹션 결합(동일한 문서 섹션 내 항목은 동일한 레이블을 가질 가능성이 높음), 이웃 결합(인접한 NP는 레이블을 공유할 가능성이 있음).
• 노드가 NP 언급을 나타내고, 목록, 섹션, 인접성에서 유도된 결합 제약 조건이 간선이 되는 그래프를 구축한다.
• 이 그래프에 레이블 전파를 적용하여 원거리 레이블링된 인스턴스를 정제하고, 잡음이 많은 레이블을 걸러내며, 확신 있는 레이블을 모호한 언급으로 전파한다.
• 정제된, 의사 레이블링된 데이터는 표준 분류기의 훈련에 사용되어 엔티티 언급 간 관계 유형을 예측한다.
• 시스템은 ProPPR을 사용하여 추출된 삼중항을 기반으로 복잡한 질의를 해결하며, 평가에 Freebase 시드와 DIEBOLDS 출력을 결합한다.

실험 결과

연구 질문

• RQ1 목록 수준과 문서 구조 수준의 결합 제약 조건이 원거리 지도 학습 정보 추출에서 노이즈를 줄일 수 있는가?
• RQ2 작고 잘 구조화된 코퍼스가 큰 비구조화된 대상 코퍼스의 관계 추출 성능을 얼마나 향상시킬 수 있는가?
• RQ3 결합 그래프 상에서 레이블 전파가 표준 원거리 지도 학습 대비 F1 점수와 재현율을 향상시키는가?
• RQ4 대상 코퍼스에 명시적인 구조가 없더라도, 잘 구조화된 코퍼스에서 유래한 결합이 지식을 전이할 수 있는가?
• RQ5 잡음이 많은 정보 추출 환경에서 구조 신호 통합이 전통적 부트스트래핑 또는 다중 인스턴스 학습과 비교해 어떻게 성능을 높이는가?

주요 결과

• DIEBOLDS는 고전적 원거리 지도 학습을 크게 능가하며, 한 관계 추출 작업에서 F1 점수를 두 배로 높였다.
• DIEBOLDS의 재현율은 Freebase 대비 80% 높아, 훨씬 더 풍부한 지식 커버리지가 있음을 시사한다.
• BioASQ 질의 응답 벤치마크에서 DIEBOLDS는 MRR 0.094와 MAP 0.092를 기록했으며, Freebase의 MRR 0.025와 MAP 0.025와 비교해 뚜렷한 성능 향상을 보였다.
• 잘 구조화된 코퍼스에서의 목록 정보 사용(DIEBOLDS-SN)이 지역 레이블링만 사용하는 기준선(DS+L)보다 성능을 향상시켜 외부 구조 신호의 가치를 입증했다.
• 레이블 전파가 효과적으로 잡음이 많은 원거리 레이블을 걸러내고, 이전에 레이블링되지 않은 언급으로도 확신 있는 레이블을 전파하여 정밀도와 재현율을 모두 향상시켰다.
• 대상 코퍼스에 명확한 섹션 경계가 없더라도, 관련된 잘 구조화된 소스에서 유래한 결합 신호가 있다면 이 방법이 효과가 있음을 입증했다.