[논문 리뷰] Semantic Hypergraphs

Telmo Menezes, Camille Roth|arXiv (Cornell University)|2019. 08. 28.

Topic Modeling참고 문헌 61인용 수 6

한 줄 요약

이 논문은 자연어의 깊이 있는 구조적 이해를 가능하게 하기 위해 상징적 해석 가능성과 기계학습 기반 적응성의 장점을 융합한 새로운 개방형 적응 지식 표현 모델인 의미 초그래프(Semantic Hypergraphs, SH)를 소개한다. 이 방법은 현대 NLP 모델과 랜덤 포레스트를 통합한 하이브리드 파서를 사용하여 텍스트를 SH로 변환하며, 다양한 텍스트 유형에서 높은 정밀도를 달성하고 인간이 이해할 수 있는 결과를 제공함으로써 갈등 분석, 추론 규칙 발견, 개념 계층 구조 학습과 같은 강력한 후행 작업을 가능하게 한다.

ABSTRACT

Approaches to Natural language processing (NLP) may be classified along a double dichotomy open/opaque - strict/adaptive. The former axis relates to the possibility of inspecting the underlying processing rules, the latter to the use of fixed or adaptive rules. We argue that many techniques fall into either the open-strict or opaque-adaptive categories. Our contribution takes steps in the open-adaptive direction, which we suggest is likely to provide key instruments for interdisciplinary research. The central idea of our approach is the Semantic Hypergraph (SH), a novel knowledge representation model that is intrinsically recursive and accommodates the natural hierarchical richness of natural language. The SH model is hybrid in two senses. First, it attempts to combine the strengths of ML and symbolic approaches. Second, it is a formal language representation that reduces but tolerates ambiguity and structural variability. We will see that SH enables simple yet powerful methods of pattern detection, and features a good compromise for intelligibility both for humans and machines. It also provides a semantically deep starting point (in terms of explicit meaning) for further algorithms to operate and collaborate on. We show how modern NLP ML-based building blocks can be used in combination with a random forest classifier and a simple search tree to parse NL to SH, and that this parser can achieve high precision in a diversity of text categories. We define a pattern language representable in SH itself, and a process to discover knowledge inference rules. We then illustrate the efficiency of the SH framework in a variety of tasks, including conjunction decomposition, open information extraction, concept taxonomy inference and co-reference resolution, and an applied example of claim and conflict analysis in a news corpus.

연구 동기 및 목표

• 순수하게 상징적 또는 투명하지 않은 기계학습 기반 NLP 시스템의 한계를 극복하기 위해 개방성과 적응성을 균형 잡은 새로운 지식 표현 모델을 개발하는 것.
• 언어적 풍부성과 구조적 다양성을 유지하면서 인간이 이해할 수 있는 의미적으로 깊이 있는 자연어 표현을 가능하게 하는 것.
• 대규모 텍스트 코퍼스 분석을 위한 형식적이고 확장 가능하며 해석 가능한 프레임워크를 제공하여 복합사회과학 분야의 다학제적 연구를 지원하는 것.
• 실제 NLP 작업, 예를 들어 갈등 탐지, 정보 추출, 추론 규칙 학습 등에서 SH의 실현 가능성과 효과성을 입증하는 것.
• 모든 실험의 재현과 커뮤니티의 도입을 촉진하기 위해 오픈소스 구현체인 Graphbrain을 제공하는 것.

제안 방법

• 자연어를 초변환 엣지로 연결된 실체, 관계, 속성과 명시적인 의미를 갖는 형태적 언어 표현으로 모델링하는 재귀적이고 형식적인 언어 표현인 의미 초그래프(SH)를 제안한다.
• 사전 훈련된 언어 모델(예: BERT 유사 인코더), spaCy 기반의 언어적 특징, 그리고 랜덤 포레스트 분류기를 통합한 하이브리드 NLP 파서를 설계하여 원시 텍스트를 고정밀도로 SH로 변환한다.
• SH 내에서 직접 표현 가능한 패턴 언어를 정의하여 지식 추출 규칙과 추론 패턴의 형식적 표현을 가능하게 한다.
• 참고 초그래프를 오픈 텍스트에서 추출하여 훈련 신호로 사용하는 인간과 시스템 간 협업 규칙 학습을 위한 절차적 템플릿을 적용한다.
• 유니버설 디펜던시(UD)의 구조적 및 의미적 특징을 활용하여 SH가 문법적 구성 요소를 얼마나 완전하게 표현하는지 검증한다.
• 수동 검증 및 정밀도 지표를 사용하여 공명 해결, 주장을 분석하고 갈등 분석, 개념 계층 추론 등의 다양한 NLP 작업에 SH를 적용한다.

실험 결과

연구 질문

• RQ1 지식 표현 모델이 상징적 해석 가능성과 기계학습 기반 적응성을 융합하여 더 깊이 있는 언어 이해를 가능하게 할 수 있는가?
• RQ2 현대 NLP 도구를 활용한 하이브리드 파서가 다양한 자연어 텍스트를 고정밀도로 구조적 의미 초그래프(SH)로 변환할 수 있는가?
• RQ3 추론 규칙과 지식 추출 패턴이 SH 프레임워크 내에서 형식적으로 표현되고 학습될 수 있는가?
• RQ4 SH는 뉴스 코퍼스에서 갈등 및 동맹 탐지와 같은 복잡하고 의미적으로 풍부한 작업을 얼마나 효과적으로 지원하는가?
• RQ5 SH는 사회과학 연구에서 상징적, 그래프 기반, 통계적 AI 구성 요소를 융합하는 하이브리드 시스템의 공통 언어로 기능할 수 있는가?

주요 결과

• SH 파서는 다양한 텍스트 유형에서 고정밀도를 달성하여 실제 NLP 작업에서 뛰어난 강건성과 일반화 능력을 입증했다.
• 프레임워크는 유니버설 디펜던시 트리뱅크에 포함된 모든 문법적 구성 요소를 성공적으로 표현하여 그 완전성과 표현력이 확인되었다.
• 갈등 분석에서, 시스템은 갈등 표현에 해당하는 53개의 초변환 엣지를 정확히 식별했으며, 모든 사례가 수동 검증을 통해 주체 및 주제 식별에서 정확한 것으로 확인되었다.
• 파벌 탐지 과정에서 국가 주체들이 러시아 연관 및 미국 연관의 두 주요 군집으로 정확히 분류되었으며, 일반적인 지리정치적 배치와 일치했다.
• 개방형 정보 추출 및 개념 계층 추론 작업에서 경쟁력 있는 성능을 보였으며, 출력 결과는 정밀도와 함께 인간이 이해할 수 있도록 해석 가능했다.
• Graphbrain 오픈소스 라이브러리는 성공적으로 구현 및 배포되어 논문에서 기술한 모든 실험의 재현과 확장이 가능해졌다.