[논문 리뷰] YEDDA: A Lightweight Collaborative Text Span Annotation Tool

Jie Yang, Yue Zhang외 2명|arXiv (Cornell University)|2017. 11. 10.

Natural Language Processing Techniques참고 문헌 11인용 수 13

한 줄 요약

Yedda는 키보드 단축키, 명령줄 통합, 실시간 시스템 추천을 통해 애너테이션 효율성을 향상시키는 경량이고 오픈소스의 공동 작업용 텍스트 스파니 애너테이션 툴이다. 기존 도구 대비 애너테이션 시간을 50% 감소시키며, 지능형 추천 기능을 사용할 경우 추가로 16.47% 향상된다. 또한 애너테이터 출력의 품질 평가와 쌍대 비교를 위한 관리자 툴킷을 포함한다.

ABSTRACT

In this paper, we introduce extsc{Yedda}, a lightweight but efficient and comprehensive open-source tool for text span annotation. extsc{Yedda} provides a systematic solution for text span annotation, ranging from collaborative user annotation to administrator evaluation and analysis. It overcomes the low efficiency of traditional text annotation tools by annotating entities through both command line and shortcut keys, which are configurable with custom labels. extsc{Yedda} also gives intelligent recommendations by learning the up-to-date annotated text. An administrator client is developed to evaluate annotation quality of multiple annotators and generate detailed comparison report for each annotator pair. Experiments show that the proposed system can reduce the annotation time by half compared with existing annotation tools. And the annotation time can be further compressed by 16.47\% through intelligent recommendation.

연구 동기 및 목표

• 기존 텍스트 애너테이션 툴의 비효율성과 애너테이션 후 분석의 부재를 해결하기 위해.
• 대규모 NLP 데이터 수집에서 애너테이션 시간을 단축하고 일관성을 향상시키기 위해.
• 공동 애너테이션과 다수의 애너테이터 간 상세한 품질 평가를 지원하는 시스템을 제공하기 위해.
• 기존 애너테이션 패턴을 기반으로 학습한 실시간 시스템 추천 기능을 통합하여 반복 작업을 최소화하기 위해.
• 복잡한 시스템 설정이 필요 없는 경량이고 플랫폼에 구애받지 않는 솔루션을 제공하기 위해.

제안 방법

• Yedda는 사용자 정의 키보드 단축키를 지원하는 GUI 기반의 애너테이터 인터페이스를 사용하여 신속한 레이블 할당과 스팬 편집을 구현한다.
• 명령줄 기반의 배치 애너테이션을 지원하며, 이전 애너테이션에서 학습한 패턴을 기반으로 실시간으로 레이블을 제안하는 시스템 추천 엔진과 통합된다.
• 관리자 툴킷에는 모든 애너테이터 쌍 간에 전체 및 경계 수준에서 F1-스코어를 계산하는 다중 애너테이터 분석(MAA) 모듈이 포함되어 있다.
• 쌍대 애너테이터 비교(PAC) 도구는 두 개의 애너테이션 파일 간의 일치 및 불일치를 강조 표시한 색상 코드 기반의 상세 보고서를 생성한다.
• 애너테이션 데이터는 표준 .anns 형식으로 내보내지며, BIO 및 BIOES 레이블링 체계를 지원한다.
• 시스템은 활성 학습을 위해 감독형 시퀀스 레이블링 모델(예: CRF)을 사용하며, 낮은 신뢰도이거나 모호한 문장을 우선 애너테이션 대상으로 선별한다.

실험 결과

연구 질문

• RQ1 대규모 NLP 데이터 수집을 위한 텍스트 스파니 애너테이션을 어떻게 더 효율적으로 만들 수 있는가?
• RQ2 지능형 추천 기능이 애너테이션 시간 단축과 일관성 향상에 어느 정도 기여할 수 있는가?
• RQ3 다수의 애너테이터에 대해 애너테이션 후 품질 분석을 체계적으로 지원할 수 있는가?
• RQ4 경량이고 다중 플랫폼 호환 가능한 애너테이션 툴이 기존 도구보다 사용성과 성능 면에서 뛰어날 수 있는가?
• RQ5 실시간 시스템 추천이 이중 애너테이터 간 불일치와 작업 부담을 줄이는 데 어떤 영향을 미치는가?

주요 결과

• Yedda는 CoNLL-2003에서 100개 문장에 대한 통제 실험을 통해 기존 도구 대비 평균 애너테이션 시간을 50% 감소시켰다.
• 지능형 추천 기능을 활성화한 경우, 100개 문장에 대해 평균적으로 추가로 16.47%의 시간 단축이 이루어졌다.
• 시험된 모든 도구에서 높은 이중 애너테이터 일치도(F1-스코어 ~96.1%)를 달성하여 일관된 레이블링 품질을 입증했다.
• 다중 애너테이터 분석(MAA) 툴킷은 모든 애너테이터 쌍에 대해 전체 및 경계 수준에서 F1-스코어를 효과적으로 계산하여 체계적인 품질 모니터링을 가능하게 했다.
• 쌍대 애너테이터 비교(PAC) 도구는 일치 및 불일치를 명확히 시각화하는 색상 강조된 상세 보고서를 생성하여 애너테이터 출력 간의 비교를 쉽게 했다.
• 시스템은 가벼운 크기(80KB), 플랫폼 독립적이며, 복잡한 설정이 필요 없어 신규 사용자에게도 접근성이 높다.