[논문 리뷰] WASA: A Web Application for Sequence Annotation

Fahad AlGhamdi, Mona Diab|arXiv (Cornell University)|2018. 01. 01.

Natural Language Processing Techniques참고 문헌 10인용 수 1

한 줄 요약

WASA는 대규모 다국어 혼합어 데이터를 위한 확장 가능한 웹 기반 주석 시스템으로, 동시 주석을 가능하게 하며 공통 토큰 유형(예: URL, 구두점, 이모티콘 등)에 대한 자동 태깅과 SPLIT 전처리 도구 통합을 지원한다. 이로 인해 트윗당 평균 주석 시간이 40초에서 27초로 감소하고, 주석자 간 일致도는 92–97%에 달하여 NLP 코퍼스 구축의 효율성과 품질을 크게 향상시킨다.

ABSTRACT

Data annotation is an important and necessary task for all NLP applications. Designing and implementing a web-based application that enables many annotators to annotate and enter their input into one central database is not a trivial task. These kinds of web-based applications require a consistent and robust backup for the underlying database and support to enhance the efficiency and speed of the annotation. Also, they need to ensure that the annotations are stored with a minimal amount of redundancy in order to take advantage of the available resources(e.g, storage space). In this paper, we introduce WASA, a web-based annotation system for managing large-scale multilingual Code Switching (CS) data annotation. Although WASA has the ability to perform the annotation for any token sequence with arbitrary tag sets, we will focus on how WASA is used for CS annotation. The system supports concurrent annotation, handles multiple encodings, allows for several levels of management control, and enables quality control measures while seamlessly reporting annotation statistics from various perspectives and at different levels of granularity. Moreover, the system is integrated with a robust language specific date prepossessing tool to enhance the speed and efficiency of the annotation. We describe the annotation and the administration interfaces as well as the backend engine.

연구 동기 및 목표

• NLP 분야에서 대규모, 다국어, 다장르 혼합어 주석 코퍼스의 부족 문제를 해결하기 위해.
• 고효율성과 낮은 중복도를 갖춘 다국어, 다장르 데이터의 주석 프로세스를 단순화하기 위해.
• 역할 기반 접근 제어와 중앙 집중식 관리 기능을 통해 다수 팀이 동시에 주석을 수행할 수 있도록 지원하기 위해.
• 공통 토큰 유형에 대한 자동 태깅을 통해 주석 속도와 품질을 향상시키기 위해.
• 언어별 전처리 도구(SPLIT) 통합을 통해 데이터 준비를 향상시키고 수동 작업을 줄이기 위해.

제안 방법

• WASA는 메타데이터 및 파일 저장을 위한 PostgreSQL 데이터베이스, 비즈니스 로직을 위한 PHP 스크립트, 사용자 인터랙션을 위한 웹 인터페이스를 포함한 3-tier 아키텍처를 채택한다.
• 시스템은 주석자, 리드 주석자, 슈퍼유저 등 다수의 사용자 역할을 지원하며, 세밀한 권한과 작업 할당 제어 기능을 제공한다.
• URL, 구두점, 숫자, 이모티콘, 발화 효과 등 정의된 토큰 유형에 대해 자동 태깅 기능을 포함하여 주석 속도를 가속화한다.
• 주석 이전에 원시 텍스트를 정제하고 정규화하기 위해 SPLIT 전처리 도구를 통합하여 데이터 품질과 일관성을 향상시킨다.
• 주석 결과는 작업 ID, 사용자 ID, 단어 ID, 태그 등 메타데이터를 포함한 사용자 정의 가능한 XML 형식으로 출력된다.
• 주석자 간 일치도(IAA)는 주석자 간 겹치는 단위를 기반으로 자동으로 계산되며, 다양한 세분성 수준에서 통계가 보고된다.

실험 결과

연구 질문

• RQ1 웹 기반 주석 시스템은 어떻게 최소한의 중복도로 대규모 다국어 혼합어 주석을 동시에 효율적으로 관리할 수 있는가?
• RQ2 공통 토큰 유형(예: URL, 구두점 등)에 대한 자동 태깅이 주석 시간을 얼마나 줄이고 일관성을 향상시키는가?
• RQ3 언어별 전처리 도구(SPLIT) 통합이 데이터 품질 향상과 주석 워크플로우 단순화에 기여하는가?
• RQ4 WASA의 품질 제어 메커니즘을 사용할 경우, 다국어 혼합어 주석에서 달성할 수 있는 주석자 간 일치도 수준은 어느 정도인가?
• RQ5 WASA는 다양한 데이터 장르에서 주석자 팀의 유연한 관리, 작업 할당, 진행 상황 모니터링을 어떻게 지원하는가?

주요 결과

• SPLIT 도구를 사용해 초기 태깅을 자동으로 할당한 결과, 트윗당 평균 주석 시간이 40초에서 27초로 감소하여 속도가 32.5% 향상되었다.
• 아랍어 혼합어 데이터의 주석자 간 일치도(IAA)는 92%에서 97% 사이로 나타나 주석의 높은 일관성을 보였다.
• 역할 기반 접근 제어와 작업 할당 기능을 통해 다양한 데이터 장르(트위터, 포럼, 대화 등)에서 다수 주석자 팀이 동시에 주석을 수행하는 데 성공했다.
• 사용자 정의 가능한 XML 출력 형식을 통해 작업 ID, 사용자 ID, 단어 ID, 주석 태그 등 다양한 메타데이터 보고가 가능해져 후속 NLP 응용 프로그램에 유연하게 기여했다.
• SPLIT 전처리 도구 통합으로 수동 데이터 정제 작업이 크게 감소했고, 공통 토큰 유형에 대한 사전 태깅의 신뢰성도 향상되었다.
• 시스템은 다중 인코딩, 다국어 데이터, 복잡한 주석 작업을 최소한의 중복 저장으로 처리하는 데 있어 뛰어난 내구성을 입증했다.