[論文レビュー] Hierarchical Classification for Spoken Arabic Dialect Identification using Prosody: Case of Algerian Dialects

Soumia Bougrine, Hadda Cherroun+1 more|arXiv (Cornell University)|Mar 29, 2017

Natural Language Processing Techniques参考文献 24被引用数 7

ひとこと要約

本稿では、プロソディック特徴を用いたスプokenアルジェリアアラビア語方言識別のための階層的ディープラーニングフレームワーク（HADID）を提案する。言語的動機付けに基づく方言階層内で、親ノード毎にディープニューラルネットワーク（DNN）を用いたトップダウン階層分類を採用し、全体で62.8%の精度を達成。フラット分類より63.5%の精度向上を示し、低リソースな方言識別においてプロソディーと階層的モデリングの有効性を実証した。

ABSTRACT

In daily communications, Arabs use local dialects which are hard to identify automatically using conventional classification methods. The dialect identification challenging task becomes more complicated when dealing with an under-resourced dialects belonging to a same county/region. In this paper, we start by analyzing statistically Algerian dialects in order to capture their specificities related to prosody information which are extracted at utterance level after a coarse-grained consonant/vowel segmentation. According to these analysis findings, we propose a Hierarchical classification approach for spoken Arabic algerian Dialect IDentification (HADID). It takes advantage from the fact that dialects have an inherent property of naturally structured into hierarchy. Within HADID, a top-down hierarchical classification is applied, in which we use Deep Neural Networks (DNNs) method to build a local classifier for every parent node into the hierarchy dialect structure. Our framework is implemented and evaluated on Algerian Arabic dialects corpus. Whereas, the hierarchy dialect structure is deduced from historic and linguistic knowledges. The results reveal that within {\HD}, the best classifier is DNNs compared to Support Vector Machine. In addition, compared with a baseline Flat classification system, our HADID gives an improvement of 63.5% in term of precision. Furthermore, overall results evidence the suitability of our prosody-based HADID for speaker independent dialect identification while requiring less than 6s test utterances.

研究の動機と目的

• アルジェリアアラビア語方言におけるプロソディック特徴の識別的パワーを調査すること。これは、音響的／音声的特徴に比べてしばしば軽視されるものである。
• とくに密接に関連する方言に対して、階層的分類が方言識別精度を向上させるかを評価すること。
• 低リソース環境における方言モデリングに、階層的構造を活用したディープニューラルネットワーク（DNN）の使用を検討すること。
• 短い発話（6秒未満）でも正確な方言識別が可能な、スプーカーに依存しない堅牢なシステムの開発

提案手法

• 発話レベルのプロソディック特徴を抽出するために、粗い粒度の子音／母音セグメンテーションを適用する。
• 統計的分析により、アルジェリア方言を区別するプロソディック特徴を同定し、特徴選択の根拠とする。
• 歴史的・言語学的研究に基づき、事前に定義された方言階層構造を導出。地域的・準地域的クラスタに方言をグループ化する。
• トップダウン階層分類を実装。階層内の各親ノードに対して、DNNベースの局所分類器を訓練する。
• 2段階のプロセスを採用：まず地域的方言分類；次に、各地域グループ内での準方言分類。
• 1,892発話（1発話あたり約6秒）のコーパスを用い、5分割交差検証で性能を評価

実験結果

リサーチクエスチョン

• RQ1 プロソディック特徴は、特に低リソース環境下でも、アルジェリアアラビア語方言を効果的に区別できるか？
• RQ2 とくに密接に関連する方言に対して、フラット分類と比較して階層的分類が方言識別精度を向上させるか？
• RQ3 階層的方言識別において、ディープニューラルネットワーク（DNN）の性能は、SVMなどの従来の分類器と比べてどうか？
• RQ4 階層的構造は、混在した言語的起源を持つ方言に対して、誤分類をどの程度低減できるか？

主な発見

• HADIDシステムは、全方言識別タスクで62.8%の精度を達成。フラットベースラインシステム（38.4%精度）を著しく上回った。
• HADIDはフラット分類システムに対して63.5%の精度向上を達成。階層的モデリングの優位性を実証した。
• DNNベースのHADIDシステムは、HADID-SVMバージョンより全体精度で7.1ポイント優れており、この文脈におけるディープラーニングの優位性を示した。
• HADIDで最も高い性能を示したのはMa’qilian（87%精度）とSulaymite（72%精度）であり、UCB方言は混合言語的影響のため、最低水準（44%）の性能を示した。
• 階層的構造により、UCB方言が他のバドーイン方言に誤って分類されるのを低減した。構造の最適化によりさらなる精度向上が期待できる。
• 短い発話（6秒未満）でも効果的に動作するため、リアルタイム応用に適している。