[논문 리뷰] A Sentence Simplification System for Improving Relation Extraction

Christina Niklaus, Bernhard Bermeitinger외 2명|arXiv (Cornell University)|2017. 03. 27.

Natural Language Processing Techniques참고 문헌 13인용 수 28

한 줄 요약

이 논문은 수작업으로 작성된 문법 규칙을 활용하여 문장의 구조를 기반으로 문장을 단순화하는 프레임워크를 제안한다. 이는 복잡한 문장을 핵심 사실과 독립적인 맥락 문장으로 변환함으로써 오픈 관계 추출(Open RE)의 정확도를 향상시킨다. 문법적 복잡성을 줄이면서도 정보의 완전성을 유지함으로써, 특히 중첩되거나 비표준적인 문장 구조를 가진 문장에서 최신 오픈 RE 시스템의 정확도와 커버리지가 향상된다.

ABSTRACT

In this demo paper, we present a text simplification approach that is directed at improving the performance of state-of-the-art Open Relation Extraction (RE) systems. As syntactically complex sentences often pose a challenge for current Open RE approaches, we have developed a simplification framework that performs a pre-processing step by taking a single sentence as input and using a set of syntactic-based transformation rules to create a textual input that is easier to process for subsequently applied Open RE systems.

연구 동기 및 목표

• 문자적 복잡한 문장을 처리할 때 오픈 관계 추출(RE) 시스템의 정확도가 낮은 문제를 해결하기 위해.
• 기존의 압축 기법과 달리, 단순화 과정에서 배경 정보를 유지함으로써 오픈 RE에서의 정보 손실를 줄이기 위해.
• 사전 처리 단계에서 언어학적 단순화를 적용함으로써 이질적이고 실제 세계의 문장 집합에서 오픈 RE의 확장성과 내성적 안정성을 향상시키기 위해.
• 의미적 내용을 잃지 않으면서도 복잡한 문법적 구조를 더 단순하고 추출 가능한 문장 형태로 변환하는 프레임워크를 개발하기 위해.
• 구조 기반의 수작업 규칙 기반 접근이 오픈 RE의 하류 작업 성능을 향상시키기 위해 문장의 구조적 규칙을 적용함으로써 입력 문장을 단순화하는 것이 효과적임을 입증하기 위해.

제안 방법

• 시스템은 스탠퍼드 코어엔엘프라이프라이프에서 제공하는 구성 기반 파싱 트리, 품사 태깅, 명명된 실체 인식(NER)을 활용하여 단순화 대상이 되는 문법적 구성 요소를 식별한다.
• 비제한적 관계절, 동격 어절, 분词어 및 형용사 어절, 괄호 어절, 전치사어절을 대상으로 하는 수작업으로 작성된 문법 규칙을 적용한다.
• 단순화 과정은 부가 정보를 독립적인 맥락 문장으로 분리함으로써 핵심 서술어-논항 구조를 유지하는 방식이다.
• 프레임워크는 세 단계로 문장을 처리한다: 단순화 가능한 구성 요소 식별, 전후관계 또는 보충어를 활용한 맥락 문장 구성, 그리고 해당 구성 요소를 제거하여 주 문장 간소화.
• 출력은 두 계층의 구조로 이루어지며, 핵심 문장과 관련 맥락 문장의 집합으로 구성되며, 이는 모두 이항 또는 삼항 관계 추출에 적합하다.
• 단순화된 출력은 오픈 IE 시스템(예: AllenAI의 openie-standalone)에 입력되어 JSON 형식으로 관계를 추출한다.

실험 결과

연구 질문

• RQ1 규칙 기반 단순화 프레임워크는 복잡한 문장에서 최신 오픈 관계 추출 시스템의 성능을 향상시킬 수 있는가?
• RQ2 기존의 압축 기법과 비교해 단순화 과정에서 배경 정보를 유지함으로써 오픈 RE에서의 정보 손실가 감소하는가?
• RQ3 중첩되거나 비표준적인 문장 구조를 가진 문장에서 문법적 단순화가 오픈 RE의 정확도와 커버리지에 어느 정도 향상시키는가?
• RQ4 복잡하고 다중 절을 포함한 문장을 핵심 문장과 맥락 문장 쌍으로 변환하는 데 있어 이 프레임워크의 효과는 어떠한가?
• RQ5 오픈 RE의 자원이 제한된 환경이나 복잡한 문법적 구조를 가진 상황에서, 구조 기반의 수작업 규칙 기반 접근이 종단 간 신경망 모델보다 우월한가?

주요 결과

• 단순화 프레임워크는 입력 문장의 문법적 복잡성을 줄임으로써 최신 오픈 RE 시스템의 정확도를 크게 향상시킨다.
• 기존의 문장 압축 기법과 비교해 배경 정보를 별도의 맥락 문장에 유지함으로써 정보 손실가 낮아졌다.
• 실험적 평가 결과, 오픈 RE 시스템은 단순화된 문장에서 더 나은 성능을 보였으며, 특히 중첩되거나 복잡한 문법적 구조를 가진 문장에서 두드러졌다.
• 프레임워크는 복잡한 문장을 핵심 문장과 맥락 문장으로 성공적으로 분해하여, 이항 및 삼항 관계의 더 신뢰성 있는 추출을 가능하게 하였다.
• 시스템은 라이브러리 및 명령줄 도구로 공개되어 있으며, 전체 위키백과 기사에 대한 적용 사례가 입증되었다.
• 단순화와 오픈 IE를 결합한 파이프라인은 지식 그래프 구축에 적합한 구조화된 JSON 출력을 생성한다.