[논문 리뷰] Text Annotation Graphs: Annotating Complex Natural Language Phenomena

Angus G. Forbes, Kristine Lee외 3명|arXiv (Cornell University)|2017. 11. 01.

Natural Language Processing Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 웹 기반의 애너테이션 툴인 텍스트 애너테이션 그래프(Text Annotation Graphs, TAG)를 소개한다. 이 도구는 중첩된 이벤트, 의미적 하이퍼그래프, 형태소 분석과 같은 복잡한 자연어 현상을 상호작용 가능한 다층 그래프로 시각화한다. TAG는 관계 간의 관계를 표현하고 편집할 수 있으며, 비프로젝티브 구조를 지원하며, 특히 생물의학 분야의 이벤트 추출과 형태소 분석에서 BRAT과 비교해 명확성과 효율성을 높인다.

ABSTRACT

This paper introduces a new web-based software tool for annotating text, Text Annotation Graphs, or TAG. It provides functionality for representing complex relationships between words and word phrases that are not available in other software tools, including the ability to define and visualize relationships between the relationships themselves (semantic hypergraphs). Additionally, we include an approach to representing text annotations in which annotation subgraphs, or semantic summaries, are used to show relationships outside of the sequential context of the text itself. Users can use these subgraphs to quickly find similar structures within the current document or external annotated documents. Initially, TAG was developed to support information extraction tasks on a large database of biomedical articles. However, our software is flexible enough to support a wide range of annotation tasks for any domain. Examples are provided that showcase TAG's capabilities on morphological parsing and event extraction tasks. The TAG software is available at: https://github.com/ CreativeCodingLab/TextAnnotationGraphs.

연구 동기 및 목표

• 자연어에서 깊이 있는 중첩, 비프로젝티브, 다층 구조의 언어적 관계를 표현하는 데에 기존 애너테이션 툴의 한계를 해결한다.
• 복잡한 이벤트를 모델링하는 데 필수적인 관계 간의 관계(즉, 의미적 하이퍼그래프)의 시각화 및 편집을 가능하게 한다.
• 직관적이고 상호작용 가능한 시각적 표현을 통해 형태소 분석 및 이벤트 추출 작업의 정확성과 효율성을 향상시킨다.
• 모든 현대 웹 브라우저에서 실행되며, 다국어 및 다양한 데이터 포맷을 지원하는 확장 가능한 오픈소스 솔루션을 제공한다.
• 다른 시스템 간의 애너테이션을 비교하거나 변경 사항을 'diff' 메커니즘으로 추적할 수 있도록 하여 비교 분석 및 액티브 러닝을 촉진한다.

제안 방법

• JavaScript와 SVG.js를 사용해 고성능의 상호작용 가능한 텍스트 애너테이션 렌더링을 위한 웹 인터페이스를 개발한다.
• 선형 텍스트 뷰와 의미적·구문적 관계의 그래프 기반 표현 간을 전환할 수 있는 이중 뷰 시스템을 도입한다.
• 동시에 시각화 및 편집이 가능한 여러 애너테이션 레이어(예: 구문, 의미, 공호성)를 지원한다.
• 관계 간의 관계(예: 하나의 이벤트가 여러 보조 이벤트를 제어하는 방식)를 정의하고 시각화할 수 있도록 한다.
• 대규모 문서를 로드할 때도 성능 저하 없이 유지하기 위해 점진적 렌더링을 통합한다.
• 분류 체계 또는 애너테이션 레이어 기반으로 뷰를 커스터마이징할 수 있도록 필터링, 색상 코드화, 상호작용 편집 기능을 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 애너테이션 툴이 과학적 텍스트에서 발견되는 복잡하고 중첩되며 비프로젝티브인 언어적 관계를 더 잘 표현할 수 있는가?
• RQ2 관계 간의 관계(의미적 하이퍼그래프)를 시각화하면 생물의학 문헌에서 이벤트 애너테이션의 정확성과 명확성이 얼마나 향상되는가?
• RQ3 웹 기반 애너테이션 툴이 BRAT과 같은 기존 도구보다 형태소 분석 및 이벤트 추출 작업을 더 효과적으로 지원할 수 있는가?
• RQ4 다른 시스템이나 버전의 애너테이션을 비교할 수 있는 능력이 애너테이션 및 코딩 프로세스를 어떻게 향상시키는가?
• RQ5 상호작용 가능한 그래프 기반 시각화는 NLP 모델 훈련을 위한 액티브 러닝 및 커스텀 데이터 수집에 어떤 방식으로 기여하는가?

주요 결과

• TAG는 하나의 양성 활성화 이벤트가 여러 음성 조절 이벤트를 제어하는 등의 복잡한 이벤트 구조를 성공적으로 시각화한다. 이는 BRAT의 선형 표현 방식에 비해 더 명확하다.
• 형태소 파생 구조, 예를 들어 'unlockable'이 '잠길 수 없는' 또는 '잠을 여를 수 있는'이라는 두 가지 의미적 해석을 정확히 표현할 수 있으며, 이는 BRAT로는 어려운 작업이다.
• 사용자는 선형 뷰와 그래프 기반 뷰 사이를 원활하게 전환할 수 있어 장거리 의존성과 계층적 이벤트 구조를 이해하는 데 도움이 된다.
• 관계 간의 관계를 연결하는 의미적 하이퍼그래프의 시각화는 생물학적 반응 네트워크를 생물의학 텍스트에서 모델링하는 데 필수적이다.
• TAG의 점진적 렌더링 및 레이어링 기능 덕분에 성능 저하 없이 대규모 문서의 애너테이션을 효율적으로 수행할 수 있다.
• 다른 시스템의 애너테이션을 양면 비교할 수 있도록 하여 검증 및 코딩 워크플로우를 향상시킨다.