[논문 리뷰] Using Recurrent Neural Network for Learning Expressive Ontologies

Giulio Petrucci, Chiara Ghidini외 1명|arXiv (Cornell University)|2016. 07. 14.

Topic Modeling참고 문헌 3인용 수 4

한 줄 요약

이 논문은 자연어 텍스트에서 표현적 온톨로지의 자동 학습을 위해 게이트형 순환 단위(Gated Recurrent Units, GRUs)를 사용하는 순환 신경망(RNN) 아키텍처를 제안한다. 온톨로지 학습을 문장 간 변환 작업으로 재정의함으로써 과정을 공식 템플릿 생성과 문장 태깅으로 분해함으로써, 수동 규칙 설계를 최소화하고 비구조화된 텍스트를 형식적인 OWL 유사 논리 공식으로 매핑하는 데 성공하며, 확장 가능하고 도메인 독립적인 온톨로지 구축의 잠재력을 보여준다.

ABSTRACT

Recently, Neural Networks have been proven extremely effective in many natural language processing tasks such as sentiment analysis, question answering, or machine translation. Aiming to exploit such advantages in the Ontology Learning process, in this technical report we present a detailed description of a Recurrent Neural Network based system to be used to pursue such goal.

연구 동기 및 목표

• 비구조화된 텍스트에서 표현적 온톨로지를 수동으로 구축하는 데 드는 높은 비용과 복잡성을 해결하기 위해.
• 신경망을 활용하여 온톨로지 학습에서 수작업으로 만든 규칙과 패tern에 의존도를 낮추기 위해.
• 자연어로부터 엔드 투 엔드 학습을 통해 도메인 독립적인 온톨로지 구축을 가능하게 하기 위해.
• RNN을 사용하여 자연어 기술서에서 복잡하고 논리적으로 구조화된 공식을 생성하는 것이 가능한지 탐색하기 위해.
• 최소한의 인간 간섭으로 온톨로지 학습의 확장성과 표현력을 향상시키기 위해.

제안 방법

• 시스템은 온톨로지 학습을 문장 간 변환 작업으로 재정의하여 두 단계로 분해한다: 공식 템플릿 생성 및 문장 태깅.
• 게이트형 순환 단위(GRUs)를 사용하는 문장 간 변환 RNN 모델을 사용하여 입력 문장에서 논리 공식을 생성하며, 각 단계에서 공식 항목의 확률 분포를 모델링한다.
• 입력 문장을 처리하는 인코더와 출력 공식을 생성하는 디코더를 갖는 계층적 아키텍처를 사용하며, 둘 다 은닉 상태 업데이트에 GRUs를 활용한다.
• GRU 셀은 리셋 게이트와 업데이트 게이트를 사용하여 정보 흐름을 제어하며, 단기 기억과 관련된 맥락의 동적 유지 기능을 제공한다.
• 손실 함수는 일치하는 공식을 원핫 인코딩한 것에 대해 분류 교차 엔트로피이며, 학습 중 예측 오차를 최소화하도록 최적화된다.
• 최종 공식은 입력 문장과 모델 파rameters를 기반으로 각 단계에서 가장 확률이 높은 토큰을 자동으로 순차적으로 샘플링하여 생성된다.

실험 결과

연구 질문

• RQ1 문장 간 변환 RNN 모델이 자연어 기술서를 형식적인 온톨로지 언어의 논리 공식으로 효과적으로 매핑할 수 있는가?
• RQ2 GRUs가 복잡하고 표현적인 온톨로지 공리 생성에 필요한 문법적 및 의미적 구조를 어느 정도 포괄할 수 있는가?
• RQ3 이 접근 방식은 표현력을 유지하면서도 수동 규칙 설계의 필요성을 줄일 수 있는가?
• RQ4 유사한 기초 논리적 구조를 가진 다양한 언어적 표면 형태에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 제안된 방법은 제약이 없는 실제 자연어 텍스트에 대해 확장 가능하고 적용 가능한가?

주요 결과

• 제안된 RNN 기반 시스템은 온톨로지 학습을 문장 간 변환 작업으로 효과적으로 재정의하여 자연어에서 형식적인 논리 공식으로의 엔드 투 엔드 학습을 가능하게 하였다.
• 게이트형 순환 단위(GRUs)의 사용은 관련 맥락을 유지하고 정보 흐름을 제어함으로써, 복잡한 문법적 구조에서의 성능 향상을 이끌었다.
• 공식 템플릿 단계와 문장 태깅 단계를 조합함으로써 모델는 논리적으로 일관된 공식을 생성하였으며, 다양한 언어적 형태 간의 구조적 일반화를 가능케 하였다.
• 학습 과정은 대규모 비라벨 텍스트 데이터를 효과적으로 활용하여 수동 기능 설계에 대한 의존도를 감소시켰다.
• 현재 시스템는 평가 중이며, 주요 목표는 확장성, 도메인 독립성, 그리고 제약이 없는 자연어를 처리할 수 있는 능력을 평가하는 것이다.
• 이 방법은 온톨로지 개발의 공학 비용을 줄이고 표현력 있고 형식적인 표현 방식을 지원할 잠재력을 보여주었다.