[論文レビュー] Discriminating between Indo-Aryan Languages Using SVM Ensembles

Alina Maria Ciobanu, Marcos Zampieri+3 more|arXiv (Cornell University)|Jul 9, 2018

Authorship Attribution and Profiling参考文献 31被引用数 4

ひとこと要約

本論文は、文字n-gram（バイグラム、トライグラム、4-グラム）と単語レベル特徴量を用いて、インド＝アリヤン諸語のうち非常に類縁な5言語（ヒンディー語、ブラジ・バシャ、アワドヒ、ボージュプリ、マガヒ）を区別するためのSVMアンサンブルシステムを提示する。システムはVarDial 2018 ILI共同課題で3位となり、88.95％のF1スコアを達成した。誤り分析の結果、短い文や固有表現を多く含む文では困難が生じ、ボージュプリ語とヒンディー語の類縁性の高さが、分類器の誤分類を引き起こしていることが明らかになった。

ABSTRACT

In this paper we present a system based on SVM ensembles trained on characters and words to discriminate between five similar languages of the Indo-Aryan family: Hindi, Braj Bhasha, Awadhi, Bhojpuri, and Magahi. We investigate the performance of individual features and combine the output of single classifiers to maximize performance. The system competed in the Indo-Aryan Language Identification (ILI) shared task organized within the VarDial Evaluation Campaign 2018. Our best entry in the competition, named ILIdentification, scored 88:95% F1 score and it was ranked 3rd out of 8 teams.

研究の動機と目的

• 標準的な言語識別システムが困難をきたす、ヒンディー語、ブラジ・バシャ、アワドヒ、ボージュプリ、マガヒといった非常に類縁なインド＝アリヤン諸語を区別する課題に対処すること。
• 多様な文字レベルおよび単語レベル特徴量を用いてトレーニングされたSVM分類器のアンサンブルにより、分類性能を向上させること。
• OCR処理済みおよび校正済みテキストからなる90,000件のドキュメントを含むデータセットを用い、VarDial 2018インド＝アリヤン語識別（ILI）共同課題においてシステムを評価すること。
• 短い文や固有表現を多く含む文における誤分類のパターンを特定する詳細な誤り分析を実施すること。
• 将来の改善策として、マルチラベル分類の検討と最先端のバックオフモデルとの比較を検討すること。

提案手法

• Scikit-learnライブラリを用いて、各ベース分類器が異なる特徴量セットにトレーニングされるSVM分類器のアンサンブルを構築した。特徴量は文字バイグラム、トライグラム、4-グラムである。
• 各個々の分類器には、大規模データセットにおけるスケーラビリティを考慮し、線形カーネルを用いたLinearSVCが使用された。
• 予測結果を統合するためのメジャー数投票戦略（VotingClassifier）を用いてアンサンブルを構成し、耐性性と全体的な性能を向上させた。
• 特徴量エンジニアリングは、類縁言語間の音声的および表記的差異を捉えるために、文字レベルn-gramに焦点を当てた。
• システムは外部データやリソースを一切使用せず、公式ILI共同課題データセットに限定してトレーニングされた。
• 性能評価は、テストセットにおける重み付きF1スコアを用い、開発セットでは混同行列と誤り分析が実施された。

実験結果

リサーチクエスチョン

• RQ1 文字n-gram特徴量を用いたSVMアンサンブルは、5つの類縁性の高いインド＝アリヤン諸語を区別するうえでどの程度有効であるか？
• RQ2 バイグラム、トライグラム、4-グラムといった文字レベル特徴量のどの組み合わせが、この言語識別タスクにおいて最適な性能を発揮するか？
• RQ3 このマルチリンガル環境における誤分類の主な原因は何か。特に短い文や固有表現を多く含む文ではどうか？
• RQ4 ボージュプリ語とヒンディー語の言語的類縁性が分類器の性能をどの程度阻害しており、これを緩和できるか？
• RQ5 マルチラベル分類アプローチは、曖昧または重複する言語インスタンスをよりよく処理できるか？

主な発見

• SVMアンサンブルシステムは、テストセットにおいて重み付きF1スコア88.95％を達成し、ILI共同課題で8チーム中3位となった。
• 開発セットの性能に基づき、最適な特徴量の組み合わせは文字バイグラム、トライグラム、4-グラムの組み合わせであると判明した。
• ブラジ・バシャが最も正確に分類された言語であり、アワドヒが正しく分類されたインスタンス数が最も少なかった。
• ボージュプリ語の94件のインスタンスがヒンディー語に誤って分類され、ヒンディー語の176件のインスタンスがボージュプリ語に誤って分類された。両言語間での相互誤分類が顕著に見られた。
• 誤分類インスタンスの約10％が極めて短い（1〜3語）であり、多くの場合固有表現が含まれており、分類器を混乱させた。
• 現地話者によると、ボージュプリ語には軽い動詞がほとんど存在しないが、ヒンディー語では頻繁に使用されるという重要な言語的差異があるが、この差異はモデルによって完全に捉えきれていなかった。