[논문 리뷰] Data Augmentation via Dependency Tree Morphing for Low-Resource Languages

Gözde Gül Şahin, Mark Steedman|arXiv (Cornell University)|2019. 03. 22.

Natural Language Processing Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 저자원 신경어법처리(NLP) 모델의 성능을 햖스키기 위해 의존성 트리 기반의 데이터 증강 기법—'자르기(crop)'와 '돌리기(rotate)'—을 제안한다. 의존성 트리의 근원을 중심으로 문장 조각을 단순화하거나 재정렬함으로써, 훈련 데이터의 다양성을 높여, 특히 유랄릭, 슬라브, 투르크어족과 같은 어순이 다양하고 표면형태가 풍부한 언어에서 품사 태깅 정확도에 뚜렷한 향상을 이룬다.

ABSTRACT

Neural NLP systems achieve high scores in the presence of sizable training dataset. Lack of such datasets leads to poor system performances in the case low-resource languages. We present two simple text augmentation techniques using dependency trees, inspired from image processing. We crop sentences by removing dependency links, and we rotate sentences by moving the tree fragments around the root. We apply these techniques to augment the training sets of low-resource languages in Universal Dependencies project. We implement a character-level sequence tagging model and evaluate the augmented datasets on part-of-speech tagging task. We show that crop and rotate provides improvements over the models trained with non-augmented data for majority of the languages, especially for languages with rich case marking systems.

연구 동기 및 목표

• 제한된 훈련 데이터로 인해 저자원 언어에서 신경어법처리 모델의 성능이 열악한 데 대비하기 위해.
• 문법적·형태학적으로 복잡한 언어에 적합한 레이블 유지형 데이터 증강 기법을 탐색하기 위해.
• 의존성 트리 기반 증강 기법이 어순과 경우 표기 방식이 상이한 다양한 언어어족 간에 일반화 가능한지 조사하기 위해.
• 저자원 환경에서 품사 태깅 성능에 대해 자르기 및 돌리기 연산의 효과성을 평가하기 위해.
• 향후 다국어 NLP 시스템 설계를 위한 언어별 패턴을 도출하기 위해 증강 효과의 언어별 특성 식별하기 위해.

제안 방법

• 선택된 초점(예: 주어, 목적어)과 관련된 의존성 링크 외의 링크를 제거함으로써 '자르기' 증강을 적용하여, 더 짧고 의미 있는 문장을 구성한다.
• 근원 노드 주변의 유연한 트리 조각(예: 주어, 목적어)을 재정렬함으로써 '돌리기' 증강을 적용하며, 문법적·의미적 구조를 유지한다.
• 두 증강 작업의 구조적 기반으로 유니버설 의존성(UD) 프로젝트의 의존성 트리를 사용한다.
• 모든 언어 간 일관된 평가를 보장하기 위해 통합된 문자 수준의 시퀀스 태깅 모델을 구현한다.
• 저자원 언어의 훈련 세트에 증강을 적용한 후, 증강된 데이터로 모델을 미세조정하고 원본 테스트 세트에서 평가한다.
• 의존성 링크가 풍부하고 어순이 자유로운 언어(예: 터키어, 핀란드어, 러시아어)를 우선적으로 고려하여 의미 유지가 기대된다.

실험 결과

연구 질문

• RQ1 의존성 트리 자르기 및 돌리기가 저자원 언어에서 품사 태깅 성능에 어느 정도 향상시키는가?
• RQ2 어느 언어어족이 이러한 증강 기법에서 가장 큰 이점을 얻었으며, 그 이유는 무엇인가?
• RQ3 증강 기법의 효과성이 형태학적 풍부성, 특히 경우 표기 체계와 관련이 있는가?
• RQ4 돌리기로 인해 훈련 데이터의 다양성이 어떻게 변화하는가? 이와 성능 향상 간 상관관계는 있는가?
• RQ5 의미의 왜곡 없이 이러한 기법이 다양한 언어어족 간 일반화 가능한가?

주요 결과

• 자르기 및 돌리기 증강 기법은 대부분의 저자원 언어에서 품사 태깅 정확도를 뚜렷이 향상시키며, 특히 경우 표기 체계가 풍부한 언어에서 두드러진다.
• 발트어족, 슬라브어족, 유랄릭어족, 투르크어족 소속 언어에서 가장 일관된 성과를 보였으며, 데이터 다양성 증가로 인해 돌리기 기법이 약간 더 뛰어난 성능을 보였다.
• Germanic 언어(예: 고대 게르만어, 아프리카누아, 덴마크어)에서는 일관된 향상이 관찰되지 않았는데, 이는 형태적 표기가 제한적이고 어순이 고정되어 있기 때문일 것이다.
• 8개의 구분 가능한 경우 표기 체계를 가진 드라비디아어족 언어인 타밀어는 뚜렷한 성과를 보였으며, 이는 형태학적 풍부성이 증강 효과를 높인다는 것을 시사한다.
• 텔루구어는 경우 체계가 존재하지만, 트리뱅크가 문법서 문장들로 구성되어 있어 다양성과 표현력이 낮아 증강 효과가 제한적이었다.
• 대부분의 경우 문장 의미가 유지되어, 의미 역할 라벨링 및 감성 분석과 같은 후속 작업에 적합하다.