[논문 리뷰] German Dialect Identification Using Classifier Ensembles

Alina Maria Ciobanu, Shervin Malmasi외 1명|arXiv (Cornell University)|2018. 07. 22.

Authorship Attribution and Profiling참고 문헌 12인용 수 4

한 줄 요약

이 논문은 독일어 방언 식별을 위한 SVM 기반 앙상블 분류기의 성능을 평가한다. 문자 및 단어 n-그램을 TF-IDF 가중치와 함께 사용하여 스위스 독일어 방언 네 가지(바젤, 베른, 취리히, 루체른)를 구분한다. 시스템은 VarDial 2018 공동 과제에서 테스트 세트에서 62.03%의 F1 스코어를 기록하여 총 여덟 팀 중 세 번째로 높은 순위를 기록했으며, 문자 4-그램과 네 개의 분류기로 구성된 앙상블이 최적의 성능을 보였다.

ABSTRACT

In this paper we present the GDI_classification entry to the second German Dialect Identification (GDI) shared task organized within the scope of the VarDial Evaluation Campaign 2018. We present a system based on SVM classifier ensembles trained on characters and words. The system was trained on a collection of speech transcripts of five Swiss-German dialects provided by the organizers. The transcripts included in the dataset contained speakers from Basel, Bern, Lucerne, and Zurich. Our entry in the challenge reached 62.03% F1-score and was ranked third out of eight teams.

연구 동기 및 목표

• 음성 녹취를 기반으로 스위스 독일어 방언을 분류하는 강력한 시스템을 개발하기 위해.
• 다양한 특징 유형을 활용한 앙상블 학습을 통해 방언 식별 성능을 향상시키기 위해.
• TF-IDF 가중치를 적용한 문자 및 단어 n-그램의 효과성을 평가하기 위해.
• GDI 공동 과제 2018에서 최상위 시스템 중 하나로 랭킹되기 위해, 이전의 저자 프로파일링 및 방언 식별 연구를 바탕으로 하기 위해.

제안 방법

• 각기 다른 특징 유형을 사용하는 14개의 개별 SVM 분류기를 학습시켰다: 문자 n-그램(n=1에서 8까지), 단어 n-그램(n=1에서 3까지), 단어 k-스킵 바이그램(k=1에서 3까지).
• 모든 기본 분류기에는 선형 커널과 L2 정규화를 사용한 LinearSVC를 적용하였으며, 하이퍼파ram터 C는 {10⁻³, ..., 10³} 범위에서 그리드 서치를 통해 최적화하였다.
• 앙상블는 예측을 다수결 투표 전략을 사용하여 조합하였으며, 동점 발생 시 레이블 순서에 따라 오름차순으로 해결하였다.
• 모든 특징 유형에 TF-IDF 가중치를 적용하여 특징적인 n-그램을 강조하고 빈도가 높은 단어의 과도한 영향을 줄였다.
• 최적의 앙상블는 개발 세트 성능을 기반으로 선정된 네 개의 분류기로 구성되었으며, 이는 문자 n-그램(n ∈ {2, 3, 4, 5})을 사용하였다.
• 시스템은 바젤, 베른, 루체른, 취리히에서 온 24,849개의 음성 녹취 데이터로 구성된 GDI 2018 데이터셋을 기반으로 학습 및 평가되었다.

실험 결과

연구 질문

• RQ1 단일 분류기보다 앙상블된 SVM 분류기가 방언 식별 정확도를 향상시킬 수 있는가?
• RQ2 문자 기반 또는 단어 기반의 n-그램 특징 유형 중 어느 것이 스위스 독일어 방언 식별에서 가장 높은 성능을 내는가?
• RQ3 앙상블 학습을 통해 다수의 특징 유형을 조합하면, 특히 유사한 방언 간의 잘못된 분류를 줄일 수 있는가?
• RQ4 시스템은 새로운 방언에 대해 어떻게 성능을 내며, 특징 공학의 영향은 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• 가장 높은 성능을 보인 개별 분류기는 문자 4-그램을 사용하여 개발 세트에서 0.621의 F1 스코어를 기록하였다.
• 최적의 네 개 분류기로 구성된 앙상블(문자 n-그램, n=2에서 5까지)은 개발 세트에서 0.638의 F1 스코어를 기록하였다.
• 최종 제출 시스템은 동일한 네 개의 문자 n-그램 특징을 사용하여 테스트 세트에서 0.6203의 F1 스코어를 기록하였으며, 공동 과제에서 세 번째 순위를 기록하였다.
• 시스템은 무작위 기준선(테스트 세트에서 F1 스코어 0.2521)을 크게 뛰어넘는 성능을 보였다.
• 혼동 행렬 분석 결과, 루체른(LU) 방언이 가장 자주 베른(BE) 방언으로 잘못 분류되었으며, 이는 두 방언 간의 높은 유사성을 시사한다.
• 가장 유용한 문자 4-그램은 방언에 따라 달라졌으며, 베른에는 '|n¨ac| aus |seit|nei|'와 같은 고유한 패tern이, 바젤에는 '|uns|aabe|kha|rlig|'와 같은 패턴이 나타났다.