[論文レビュー] German Dialect Identification Using Classifier Ensembles

Alina Maria Ciobanu, Shervin Malmasi+1 more|arXiv (Cornell University)|Jul 22, 2018

Authorship Attribution and Profiling参考文献 12被引用数 4

ひとこと要約

本稿では、ドイツ語の方言識別のためのSVMベースのアンサンブル分類器を提示する。文字n-gramと単語n-gramを用い、TF-IDF重み付けを適用することで、スイスドイツ語の4方言（バーゼル、ベルン、Lucerne、チューリッヒ）を区別する。このシステムは、VarDIAL 2018の共同課題で62.03%のF1スコアを達成し、参加8チーム中3位となり、文字4-gramと4つの分類器のアンサンブルが最適な性能を発揮した。

ABSTRACT

In this paper we present the GDI_classification entry to the second German Dialect Identification (GDI) shared task organized within the scope of the VarDial Evaluation Campaign 2018. We present a system based on SVM classifier ensembles trained on characters and words. The system was trained on a collection of speech transcripts of five Swiss-German dialects provided by the organizers. The transcripts included in the dataset contained speakers from Basel, Bern, Lucerne, and Zurich. Our entry in the challenge reached 62.03% F1-score and was ranked third out of eight teams.

研究の動機と目的

• スイスドイツ語の方言を発話トランスクリプトから分類する堅牢なシステムの開発。
• 多様な特徴タイプを用いたアンサンブル学習により、方言識別のパフォーマンスを向上させること。
• 文字n-gramおよび単語n-gramにTF-IDF重み付けを適用した場合の、方言分類における有効性の評価。
• GDI共同課題2018で上位のシステムにランクインすること。これは、著者の過去の著者プロファイリングおよび方言識別に関する研究を基盤としている。

提案手法

• 14個の個別SVM分類器からなるアンサンブルを訓練した。各分類器は、異なる特徴タイプ（n=1〜8の文字n-gram、n=1〜3の単語n-gram、k=1〜3の単語k-スプライスビグラム）を用いた。
• すべてのベース分類器には、線形カーネルとL2正則化を用いたLinearSVCを採用し、ハイパーパramータCはグリッドサーチにより{10⁻³, ..., 10³}の範囲で最適化した。
• アンサンブルは予測を多数決戦略で統合し、同率の場合はラベルの昇順に従って解決した。
• すべての特徴タイプにTF-IDF重み付けを適用し、判別力のあるn-gramを強調するとともに、頻出語の過剰表現を低減した。
• 最適なアンサンブルは、開発セットの性能に基づき、n ∈ {2, 3, 4, 5}の文字n-gramを用いた4つの分類器の組み合わせであった。
• システムは、バーゼル、ベルン、Lucerne、チューリッヒからの24,849件のトランスクリプトから成るGDI 2018データセットを用いて訓練および評価した。

実験結果

リサーチクエスチョン

• RQ1 SVM分類器のアンサンブルは、単一分類器と比較して方言識別精度を向上させることができるか？
• RQ2 文字ベースのn-gramと単語ベースのn-gramのうち、どの特徴タイプがスイスドイツ語の方言分類において最高のパフォーマンスを示すか？
• RQ3 アンサンブル学習により複数の特徴タイプを統合することで、類似した方言間の誤分類が低減されるか？
• RQ4 未知の方言に対してシステムはどの程度の性能を示すか？ また、特徴工学の影響はモデルの汎化性能にどのように現れるか？

主な発見

• 最もパフォーマンスの高かった個別分類器は、文字4-gramを用いて開発セットで0.621のF1スコアを達成した。
• n=2から5の文字n-gramを用いた4つの分類器の最適なアンサンブルは、開発セットで0.638のF1スコアを達成した。
• 最終提出システムは、同じ4つの文字n-gram特徴を用い、テストセットで0.6203のF1スコアを達成し、共同課題で3位となった。
• システムはランダムベースライン（テストセットでF1スコア0.2521）を著しく上回った。
• 混同行列の分析から、Lucerne（LU）の方言が最も頻繁にベルン（BE）に誤分類されていることが判明し、両方言の類似性が示された。
• 最も有益な文字4-gramは方言ごとに異なり、ベルンでは'|n¨ac| aus |seit|nei|'、バーゼルでは'|uns|aabe|kha|rlig|'といった明確なパターンが観察された。