[논문 리뷰] Text segmentation with character-level text embeddings

Grzegorz Chrupała|arXiv (Cornell University)|2013. 09. 18.

Natural Language Processing Techniques인용 수 22

한 줄 요약

이 논문은 원시 텍스트 시퀀스에서 다음 문자를 예측하도록 훈련된 단순 순환망(SRN)을 사용하여 문자 수준의 텍스트 임베딩을 학습하는 방법을 제안한다. 학습된 은닉층 표현은 문자 수준의 텍스트 분할 및 코드 블록 레이블링 작업에서 기존의 n-gram 특징보다 성능을 크게 향상시키며, 훈련 데이터 크기를 4배로 늘인 것과 유사한 성능을 달성한다.

ABSTRACT

Learning word representations has recently seen much success in computational linguistics. However, assuming sequences of word tokens as input to linguistic analysis is often unjustified. For many languages word segmentation is a non-trivial task and naturally occurring text is sometimes a mixture of natural language strings and other character data. We propose to learn text representations directly from raw character sequences by training a Simple recurrent Network to predict the next character in text. The network uses its hidden layer to evolve abstract representations of the character sequences it sees. To demonstrate the usefulness of the learned text embeddings, we use them as features in a supervised character level text segmentation and labeling task: recognizing spans of text containing programming language code. By using the embeddings as features we are able to substantially improve over a baseline which uses only surface character n-grams.

연구 동기 및 목표

• 포럼 게시물과 같은 혼합 언어 또는 코드가 포함된 텍스트에서 단어 기반 표현 방식의 한계를 해결하기 위해.
• 사전에 정의된 단어 분할에 의존하지 않고 원시 문자 시퀀스에서 일반적인 텍스트 표현을 직접 학습하는 방법을 개발하기 위해.
• SRN에서 학습한 문자 수준의 임베딩이 감독형 문자 수준 시퀀스 레이블링 작업에서 성능 향상에 기여하는지 평가하기 위해.
• 해당 임베딩이 자연어 및 프로그래밍 코드와 같은 다양한 텍스트 유형 간에 일반화되는지 조사하기 위해.

제안 방법

• 대규모의 레이블이 없는 텍스트에서 시퀀스의 다음 문자를 예측하도록 단순 순환망(SRN)을 훈련한다.
• 훈련된 SRN의 은닉층 활성화 값을 후속 작업을 위한 조밀하고 분산된 텍스트 임베딩으로 사용한다.
• 각 문자 시퀀스를 시퀀스 처리 후 SRN의 최종 은닉 상태에서 유도된 고정 길이 벡터로 표현한다.
• 이러한 학습된 임베딩을 조건부 랜덤 필드(CRF) 모델의 추가 특징으로 사용하여 시퀀스 레이블링을 수행한다.
• CRF를 문자 n-그램과 SRN 기반 임베딩을 조합하여 훈련하여 혼합 텍스트 게시물의 코드 블록을 탐지한다.
• 프로그래밍 포럼 게시물의 실세계 데이터셋(레이블이 부여된 코드 세그먼트 포함)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 SRN를 통해 학습한 문자 수준의 텍스트 임베딩이 감독형 텍스트 분할 작업에서 성능 향상에 기여하는가?
• RQ2 혼합 언어 텍스트에서 코드 블록을 탐지할 때 SRN 기반 임베딩은 전통적인 문자 n-그램 특징보다 우수한가?
• RQ3 SRN를 사전 훈련하기 위해 사용된 레이블이 없는 훈련 데이터의 크기가 최종 성능에 크게 영향을 미치는가?
• RQ4 SRN 임베딩은 명시적인 분할 없이도 자연어 및 프로그래밍 코드와 같은 다양한 텍스트 유형 간에 일반화될 수 있는가?

주요 결과

• CRF 모델에 SRN 기반 문자 수준 임베딩을 추가함으로써 최종 테스트 세트에서 F1 스코어가 기준 모델의 86.45%에서 90.95%로 향상되었다.
• SRN 특징으로 인한 성능 향상은 기준 모델에서 레이블이 부여된 훈련 데이터 양을 4배로 늘인 것과 동일한 효과를 보였다.
• 소규모 레이블이 없는 데이터(전체 데이터의 10%)로 훈련된 SRN 모델조차도 대규모 모델과 유사한 성능을 보였으며, 이는 성능 향상의 주요 원인이 데이터 규모가 아니라 특징의 표현력 때문임을 시사한다.
• 더 큰 데이터셋(100% 데이터)으로 훈련된 모델은 F1 스코어(90.95% 대 90.75%)에서 약간의 향상과 퍼플렉서티 감소(4.11 대 4.24)를 보였지만, 개념 이동(Concept Drift)으로 인해 추가 데이터로의 성능 향상이 제한적임을 시사한다.
• 작은 데이터셋에서 유도된 SRN 임베딩조차도 우수한 성능을 보였으며, 이는 고품질의 표현을 대규모 컴퓨팅 자원 없이도 효율적으로 학습할 수 있음을 시사한다.