[논문 리뷰] New Methods, Current Trends and Software Infrastructure for NLP

Hamish Cunningham, Yorick Wilks외 1명|ArXiv.org|1996. 07. 23.

Natural Language Processing Techniques참고 문헌 7인용 수 20

한 줄 요약

이 논문은 정보 추출에 특히 중점을 두고 텍스트 처리의 핵심 요구사항을 해결하기 위해 설계된 무료로 이용 가능한 소프트웨어 인프라스트럭처인 GATE(Generic Architecture for Text Engineering)를 소개한다. 이는 모듈식이고 데이터베이스 기반의 아키텍처를 채택하여 TIPSTER 및 MULTEXT 표준과 통합함으로써 확장 가능하고 평가 가능하며 재사용 가능한 NLP 시스템을 가능하게 하며, 대규모 코퍼스, 통계적 방법, 공학 기반 실천 방식에 대한 개선된 지원을 제공한다.

ABSTRACT

The increasing use of `new methods' in NLP, which the NeMLaP conference series exemplifies, occurs in the context of a wider shift in the nature and concerns of the discipline. This paper begins with a short review of this context and significant trends in the field. The review motivates and leads to a set of requirements for support software of general utility for NLP research and development workers. A freely-available system designed to meet these requirements is described (called GATE - a General Architecture for Text Engineering). Information Extraction (IE), in the sense defined by the Message Understanding Conferences (ARPA \cite{Arp95}), is an NLP application in which many of the new methods have found a home (Hobbs \cite{Hob93}; Jacobs ed. \cite{Jac92}). An IE system based on GATE is also available for research purposes, and this is described. Lastly we review related work.

연구 동기 및 목표

• 통계적 방법의 증가, 대규모 코퍼스의 활용 증가, 공학 중심의 응용 증가에 따라 NLP 분야에서 강력하고 재사용 가능하며 평가 가능한 소프트웨어 인프라스트럭처의 필요성이 증가하고 있음을 반영한다.
• 이전 시스템의 한계(예: MULTEXT와 같은 SGML 기반 모델과 TIPSTER와 같은 데이터베이스 기반 모델)를 극복하기 위해 이들의 강점을 하나의 확장 가능한 아키텍처로 통합한다.
• 표준화되고 모듈식이며 확장 가능한 소프트웨어 구성 요소를 통해 대규모로 성능 평가가 가능한 NLP 응용 프로그램—특히 정보 추출—을 가능하게 한다.
• 실험적 평가, 재사용 가능한 자원, NLP 연구 개발에서의 공학적 엄격함을 촉진함으로써 토이 문제에서 실제 적용 가능한 대규모 NLP 시스템으로의 전환을 지원한다.

제안 방법

• 텍스트 엔지니어링을 위한 일반 목적의 객체 지향 소프트웨어 아키텍처로 GATE를 설계하여 모듈식 처리 파이프라인과 확장 가능한 애너테이션 모델을 지원한다.
• TIPSTER의 데이터베이스 중심, 응용에 중립적인 모델과 MULTEXT의 SGML 기반 애너테이션 프레임워크를 통합하여 성능과 상호운용성 모두를 지원한다.
• 지속적이고 질의 가능한 데이터베이스를 사용해 애너테이션과 문서 메타데이터를 저장함으로써 효율적인 입출력, 분산 제어 및 액세스 제어를 가능하게 하여 파일 기반 시스템의 입출력 및 표현 오버헤드 문제를 해결한다.
• 기원과 기원 추적 정보에 대한 메타데이터를 포함한 다중 수준의 언어학적 및 정보 추출 애너테이션(예: 명명된 실체, 품사)을 지원하는 표준화된 애너테이션 모델을 정의한다.
• 외부 도구(예: 파서, 정보 추출 시스템)의 통합을 가능하게 하고 읽기 전용 및 쓰기 가능한 문서 저장을 모두 지원하는 유연하고 확장 가능한 프레임워크를 구현한다.
• 기존 표준 및 도구(예: SGML, TIPSTER, MULTEXT)를 활용하여 호환성과 재사용을 보장하고, 다양한 NLP 프레임워크 간의 상호운용성에 대한 비전을 제시한다.

실험 결과

연구 질문

• RQ1 다양한 표준과 도구를 통합하는 통합적이고 확장 가능하며 확장 가능한 소프트웨어 인프라스트럭처를 통해 NLP 연구 및 개발은 어떻게 지원될 수 있는가?
• RQ2 정보 추출에 특히 중점을 두고 대규모로 성능 평가가 가능한 NLP 응용 프로그램을 지원하기 위해 필요한 아키텍처적 특성은 무엇인가?
• RQ3 SGML 기반 시스템(예: MULTEXT)과 데이터베이스 기반 시스템(예: TIPSTER)의 한계는 어떻게 하이브리드이고 모듈식 아키텍처를 통해 극복할 수 있는가?
• RQ4 소프트웨어 인프라스트럭처는 통계적 방법과 대규모 코퍼스의 맥락에서 재사용성, 상호운용성, 공학적 엄격성을 어떻게 증진시킬 수 있는가?
• RQ5 하나의 프레임워크가 정보 추출 및 기타 NLP 작업의 애너테이션 및 처리 요구 사항을 효과적으로 동시에 지원하면서도 유연성과 확장성을 유지할 수 있는가?

주요 결과

• GATE는 TIPSTER와 MULTEXT의 핵심 요소를 성공적으로 통합하여 TIPSTER의 데이터베이스 효율성과 응용에 중립적인 특성, MULTEXT의 풍부한 애너테이션 모델과 SGML 기반의 확장성 모두를 결합한다.
• 애너테이션을 저장하기 위해 중앙집중식 지속성 데이터베이스를 사용함으로써 파일 기반 또는 SGML 파싱에 의존하는 모델 대비 입출력 오버헤드를 줄이고 효율적이고 확장 가능한 처리를 가능하게 한다.
• 데이터베이스 메커니즘을 통해 다중 수준의 액세스 제어 및 분산 처리를 지원함으로써 SGML 기반 시스템이 기원 추적 및 액세스 관리 측면에서 겪는 핵심 한계를 해결한다.
• 외부 도구의 통합이 원활하고 읽기 전용 및 쓰기 가능한 문서 처리를 모두 지원함으로써 암호화 및 실시간 처리에 적합한 아키텍처를 제공한다.
• TIPSTER 호환 데이터를 SGML 형식으로 저장하여 MULTEXT 도구에서 처리할 수 있도록 하고, 반대로 MULTEXT 데이터를 TIPSTER 형식으로 변환하여 처리할 수 있도록 함으로써 TIPSTER와 MULTEXT 간의 상호운용성을 촉진한다.
• 실험적 평가, 재사용 가능한 구성 요소, 대규모 NLP 시스템 배포를 가능하게 하여 공학 중심의 NLP로의 전환을 지원한다. 특히 정보 추출 분야에서 두드러진 효과를 보였다.