[논문 리뷰] Parallelization of Maximum Entropy POS Tagging for Bahasa Indonesia with MapReduce

Arif Nurwidyantoro, Edi Winarko|arXiv (Cornell University)|2012. 08. 15.

Natural Language Processing Techniques참고 문헌 5인용 수 7

한 줄 요약

이 논문은 인도네시아어를 위한 최대 엔트로피 품사 태깅(Maximum Entropy part-of-speech tagging)의 MapReduce 기반 병렬 처리를 제안하여 학습 및 추론 과정을 가속화한다. 사전 구성, 태그-토큰 매핑, 학습 중 특징 생성, 라인 단위 문서 태깅에 대한 병렬 처리를 구현하였으며, 실험 결과 태깅에서 뚜렷한 속도 향상을 보였고, 100만 단어 분량의 코퍼스에서 30개의 맵 태스크에서 최적 성능을 기록하였다. 다만 학습 중 입출력(I/O) 오버헤드로 인해 성능 향상이 제한되었다.

ABSTRACT

In this paper, MapReduce programming model is used to parallelize training and tagging proceess in Maximum Entropy part of speech tagging for Bahasa Indonesia. In training process, MapReduce model is implemented dictionary, tagtoken, and feature creation. In tagging process, MapReduce is implemented to tag lines of document in parallel. The training experiments showed that total training time using MapReduce is faster, but its result reading time inside the process slow down the total training time. The tagging experiments using different number of map and reduce process showed that MapReduce implementation could speedup the tagging process. The fastest tagging result is showed by tagging process using 1,000,000 word corpus and 30 map process.

연구 동기 및 목표

• 대규모 MaxEnt 품사 태거를 위한 인도네시아어의 계산 비효율성 문제를 해결하기 위해.
• 데이터 수준 병렬 처리를 통해 저자원 언어인 인도네시아어의 품사 태깅 처리 시간을 단축하기 위해.
• 분산 시스템에서 MaxEnt 품사 태깅을 확장하는 데 있어 MapReduce의 효과를 평가하기 위해.
• 대규모 코퍼스에서 태깅 성능을 최대화하기 위한 맵 및 리듀스 태스크의 최적 설정을 규명하기 위해.

제안 방법

• 학습 단계를 병렬화하기 위해 MapReduce를 사용하여 사전 생성, 태그-토큰 쌍 생성, 특징 추출을 노드 간에 분산 처리한다.
• 태깅 단계는 입력 텍스트를 라인 단위로 나누어 여러 맵 태스크를 사용해 독립적으로 처리함으로써 병렬화한다.
• 학습 중 특징 생성의 순차적 의존성을 처리하면서도 데이터 수준 병렬 처리를 가능하게 하기 위해 맞춤형 MapReduce 파이프라인을 설계한다.
• 인도네시아어의 형태소적 복잡성에 적합하게 조정된 n-그램 및 맥락 기반 특징을 사용하는 표준 MaxEnt 모델을 사용한다.
• 작업 스케줄링, 데이터 셔플링, 장애 내성 등을 관리하기 위해 Hadoop의 MapReduce 프레임워크를 활용한다.
• 다양한 수의 맵 및 리듀스 태스크를 사용하여 100만 단어 분량의 인도네시아어 코퍼스를 대상으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 MapReduce는 인도네시아어를 위한 최대 엔트로피 품사 태거의 학습 과정을 효과적으로 병렬화할 수 있는가?
• RQ2 분산 환경에서 맵 및 리듀스 태스크의 수가 전체 태깅 속도에 어떤 영향을 미치는가?
• RQ3 대규모 코퍼스에서 태깅 시간을 최소화하기 위한 MapReduce 태스크의 최적 설정은 무엇인가?
• RQ4 병렬 처리에도 불구하고 학습 시간이 선형으로 확장되지 않는 이유는 무엇이며, 어떤 버티브넥스가 존재하는가?
• RQ5 MapReduce는 저자원, 형태소가 풍부한 언어에서 품사 태깅의 효율성을 어느 정도 향상시킬 수 있는가?

주요 결과

• 태깅 과정에서 MapReduce를 사용해 뚜렷한 속도 향상을 기록하였으며, 100만 단어 분량의 코퍼스에서 30개 맵 태스크 설정에서 가장 빠른 성능을 기록하였다.
• 학습 시간은 병렬 처리에도 불구하고 결과 읽기 중 입출력(I/O) 오버헤드로 인해 선형으로 확장되지 않았으며, 이로 인해 성능 저하가 발생하였다.
• 학습 중 특징 생성 및 태그-토큰 매핑의 병렬 처리로 계산 시간이 감소했지만, I/O 지연으로 인해 그 효과가 상쇄되었다.
• 일반 장비 클러스터를 사용하여 대규모 인도네시아어 품사 태깅에 대해 실현 가능한 확장성을 입증하였다.
• 결과적으로 MapReduce는 추론(태깅) 가속화에 효과적이지만, 데이터 접근 패턴으로 인해 학습 단계에는 덜 효과적임을 확인하였다.
• 태깅에 대한 최적 설정은 30개 맵 태스크로, 작업의 세분화 수준과 조율 오버헤드 사이의 상충 관계를 반영한다.