[논문 리뷰] Real-time Automatic Word Segmentation for User-generated Text.

Won-Ik Cho, Sung Jun Cheon외 3명|arXiv (Cornell University)|2018. 10. 31.

Natural Language Processing Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 웹 기반 편집 환경에서 즉시 사용 가능한 실시간, 신경망 기반 자동 어절 분리 시스템을 제안한다. 비표준적이고 비공식적이며 대화체 스타일의 글쓰기 처리에서 기존 툴킷보다 뛰어난 성능을 보이며, 실제 응용에서 높은 신뢰성과 실용성을 입증한다.

ABSTRACT

For readability and possibly for disambiguation, appropriate word segmentation is recommended for written text. In this paper, we propose a real-time assistive technology that utilizes an automatic segmentation. The language investigated is Korean, a head-final language with various morpho-syllabic blocks as characters. The training scheme is fully neural network-based and straightforward. Besides, we show how the proposed system can be utilized in a web-based real-time revision for a user-generated text. With qualitative and quantitative comparison with widely used text processing toolkits, we show the reliability of the proposed system and how it fits with conversation-style and non-canonical texts. The demonstration is available online.

연구 동기 및 목표

• 비표준적이고 비공식적인 한국어 텍스트에서 표준 도구가 종종 실패하는 어절 분리 문제를 해결하기 위해.
• 웹 기반 환경에서 즉각적인 텍스트 수정을 지원하는 실시간 보조 기술을 개발하기 위해.
• 제안된 시스템의 성능을 광범위하게 사용되는 텍스트 처리 툴킷과 비교하여 정성적 및 정량적 차원에서 평가하기 위해.
• 한국어의 전형적인 형태음절 복잡성과 주어진 어순 구조를 잘 처리할 수 있는 시스템의 강건성을 입증하기 위해.
• 실제 검증과 사용성 테스트를 위한 공개적인 온라인 데모를 제공하기 위해.

제안 방법

• 시스템은 수작업으로 만든 규칙나 언어학적 특징에 의존하지 않는 완전히 신경망 기반의 학습 기반을 채택한다.
• 학습 데이터에서 직접 원시 문자 시퀀스를 적절한 어절 경계로 매핑하는 엔드 투 엔드 학습을 활용한다.
• 저지연 추론을 최적화하여 웹 애플리케이션에서 실시간 처리가 가능하도록 설계된다.
• 일반화 능력을 향상시키기 위해 대화체 및 비표준 형태를 포함한 다양한 사용자 생성 텍스트로 모델을 훈련시킨다.
• 실시간 텍스트 수정을 위한 웹 기반 인터페이스에 시스템을 통합하여 입력 중 즉각적인 피드백을 제공한다.
• 정성적 분석과 정량적 지표를 모두 활용하여 평가를 수행하며, 기존 툴킷과의 출력 결과를 비교한다.

실험 결과

연구 질문

• RQ1 제안된 신경망 기반 어절 분리 시스템은 비표준적이고 비공식적인 한국어 사용자 생성 텍스트에서 얼마나 잘 작동하는가?
• RQ2 시스템은 상호작용 가능한 웹 기반 텍스트 편집 환경에 적합한 실시간 처리를 달성할 수 있는가?
• RQ3 어려운 텍스트 유형에서 광범위하게 사용되는 텍스트 처리 툴킷과 비교해 정확도와 강건성 측면에서 시스템은 어떻게 성과를 내는가?
• RQ4 대화체 글쓰기에서 시스템은 읽기 쉬움과 의미 해석의 명확함을 어느 정도 향상시키는가?
• RQ5 명시적인 언어학적 특징 설계 없이도 시스템은 한국어의 다양한 형태음절적 구조에 일반화할 수 있는가?

주요 결과

• 제안된 시스템은 기존 툴킷에 비해 비표준적이고 비공식적인 한국어 텍스트에서 뛰어난 성능을 보였다.
• 저지연으로 실시간 어절 분리를 가능하게 하여 웹 기반 텍스트 에디터에의 통합에 적합하다.
• 신경망 기반 접근 방식은 대화체 및 비표준 형태를 포함한 다양한 글쓰기 스타일에 잘 일반화된다.
• 정성적 평가에서 사용자 생성 콘텐츠의 읽기 쉬움과 의미 해석의 명확함 향상이 확인되었다.
• 정량적 결과는 특히 복잡한 형태음절적 맥락에서 기준 툴킷 대비 일관된 정확도 향상을 보였다.
• 온라인 데모를 통해 시스템의 실용적 사용성과 실제 적용 가능성은 확인되었다.