[논문 리뷰] Knowledge Authoring and Question Answering via Controlled Natural Language

Gao, Tiantian|arXiv (Cornell University)|2017. 10. 19.

Natural Language Processing Techniques참고 문헌 12인용 수 41

한 줄 요약

SLING은 양방향 LSTM 인코딩과 전이 기반 순환 유닛(TBRU)을 사용하여 자연어 텍스트를 직접 의미 프레임 그래프로 매핑하는 신경망 프레임 의미 분석 프레임워크입니다. 엔드 투 엔드 학습이 가능하며, OntoNotes에서 Slot F1 79.95%의 최신 기술 수준 성능을 달성하고, JIT 컴파일된 Myelin 런타임을 통해 초당 CPU 2500 토큰의 고속 추론을 지원합니다.

ABSTRACT

Knowledge acquisition from text is the process of automatically acquiring, organizing and structuring knowledge from text which can be used to perform question answering or complex reasoning. However, current state-of-the-art systems are limited by the fact that they are not able to construct the knowledge base with high quality as knowledge representation and reasoning (KRR) has a keen requirement for the accuracy of data. Controlled Natural Languages (CNLs) emerged as a technology to author knowledge using a restricted subset of English. However, they still fail to do so as sentences that express the same information may be represented by different forms. Current CNL systems have limited power to standardize sentences that express the same meaning into the same logical form. We solved this problem by building the Knowledge Authoring Logic Machine (KALM), which is a technology for domain experts who are not familiar with logic to author knowledge using CNL. The system performs semantic analysis of English sentences and achieves superior accuracy of standardizing sentences that express the same meaning to the same logical representation. Besides, we developed the query part of KALM to perform question answering, which also achieves very high accuracy in query understanding.

연구 동기 및 목표

• 중간 기호 표현을 생략하고 원시 텍스트 토큰에서 직접 프레임 그래프를 출력하는 신경망 의미 분석기를 개발하는 것.
• 이름 있는 실체 인식, 의미 역할 레이블링, 공호성 분석과 같은 통합 의미 분석 작업에서 엔드 투 엔드 성능을 향상시키기 위해 모든 모듈을 공동으로 훈련하는 것.
• JIT 컴iles된 신경망 런타임을 통해 실시간 응용 프로그램에 적합한 효율적이고 저지연 추론을 가능하게 하는 것.
• 입력 토큰이 아닌 진화하는 프레임 구조에 초점을 맞춘 어텐션 메커니즘을 탐색하여 분석 중 맥락 인식 능력을 향상시키는 것.

제안 방법

• 입력 텍스트 토큰을 맥락 기반 벡터 표현으로 인코딩하기 위해 양방향 LSTM을 사용한다.
• 점진적으로 프레임 그래프를 구성하는 분석 동작의 시퀀스를 생성하기 위해 전이 기반 순환 유닛(TBRU)을 활용한다.
• 이전에 생성된 프레임에 초점을 맞추는 프레임 인식 어텐션 메커니즘을 도입한다.
• 이름이 부여된 슬롯과 값이 포함된 프레임 참조를 포함하여 복잡한 의미적 구조를 허용하는 방향성 그래프로 의미 프레임을 표현한다.
• C++에서 구현된 프레임 스토어 데이터 구조를 사용하여 프레임 그래프의 압축적이고 효율적인 저장 및 관리를 수행한다.
• 신경망을 최적화된 x64 기계어 코드로 컴iles하기 위해 JIT 컴파일러(Myelin)를 활용하여 고속 추론을 구현한다.

실험 결과

연구 질문

• RQ1 신경망이 중간 기호 표현 없이 원시 텍스트를 직접 의미 프레임 그래프로 분석할 수 있는가?
• RQ2 입력 토큰 어텐션과 비교해 프레임에 초점을 맞춘 어텐션—진화하는 프레임 구조에 초점을 맞춘 것—이 분석 정확도에 어떤 영향을 미치는가?
• RQ3 통합 의미 분석 모델의 엔드 투 엔드 훈련이 실체, 유형, 역할, 프레임 예측 작업의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 JIT 컴파일된 신경망 추론 엔진이 표준 딥러닝 프레임워크에 비해 속도와 메모리 효율성 면에서 뚜렷한 우수성을 보일 수 있는가?

주요 결과

• SLING 분석기는 OntoNotes 테스트 세트에서 Slot F1 점수 79.95%를 기록하여, 프레임, 역할, 유형, 레이블의 통합 예측에서 뛰어난 성능을 입증했다.
• 스판 F1 및 프레임 F1 점수가 약 93.8%에 도달하여 의미 스팬과 프레임의 식별 및 연결 정확도가 높다는 것을 시사한다.
• 역할 F1 점수는 69.65%로, 프레임 간 링크 예측이 여전히 도전 과제임을 시사하며, 이는 상호 프레임 관계 모델링이 제한되어 있기 때문일 수 있다.
• Myelin로 컴파일된 분석기는 CPU 기준로 초당 2500개 토큰의 속도로 실행되며, 이는 텐서플로우 기반 버전의 초당 200개 토큰보다 10배 이상 빠른 성능을 보였다.
• 모델은 미리 정의된 데이터에 대해 우수한 일반화 성능을 보이며, 개발 세트와 테스트 세트 간 성능 격차가 미미하여, 제한된 정규화에도 불구하고 강건함을 입증했다.
• 라벨 F1 점수는 개발 세트에서 96.18로 최고를 기록한 후 최종 체크포인트에서 95.73으로 감소하여 과적합의 징후를 보이며, 더 나은 정규화나 아키텍처 변경이 필요함을 시사한다.