[論文レビュー] N-GrAM: New Groningen Author-profiling Model

Angelo Basile, Gareth Dwyer+4 more|arXiv (Cornell University)|Jul 12, 2017

Authorship Attribution and Profiling参考文献 4被引用数 12

ひとこと要約

N-GrAM は、tf-idf 重み付きの単語ユニグラムおよび文字 3- から 5- グラムを用いた線形 SVM を使用して、英語、スペイン語、アラビア語、ポルトガル語の4言語における性別および言語多様性を予測する、シンプルでありながら非常に効果的な著者プロファイリングシステムである。PAN 2017 共同タスクにおいて平均正解率 0.86 を達成し、総合1位となったが、追加の特徴量や複雑なモデルは性能を低下させた。

ABSTRACT

We describe our participation in the PAN 2017 shared task on Author Profiling, identifying authors' gender and language variety for English, Spanish, Arabic and Portuguese. We describe both the final, submitted system, and a series of negative results. Our aim was to create a single model for both gender and language, and for all language varieties. Our best-performing system (on cross-validated results) is a linear support vector machine (SVM) with word unigrams and character 3- to 5-grams as features. A set of additional features, including POS tags, additional datasets, geographic entities, and Twitter handles, hurt, rather than improve, performance. Results from cross-validation indicated high performance overall and results on the test set confirmed them, at 0.86 averaged accuracy, with performance on sub-tasks ranging from 0.68 to 0.98.

研究の動機と目的

• マルチリンガルソーシャルメディアテキストにおける性別および言語多様性を統合的に予測するモデルの開発。
• 性別と言語多様性の予測を1つの共同モデルに統合することで性能が向上するかの評価。
• ポジティブ・トークン（POS）タグ、地理的エンティティ、Twitter ハンドルなどの高度な特徴量が、基本的な n-gram 特徴量よりも性能を向上させるかの調査。
• 特徴量エンジニアリングとハイパーパramータチューニングのどちらが、著者プロファイリングタスクにおいてより大きな向上をもたらすかの特定。

提案手法

• サブラインアー項頻度スケーリング $1 + \log(tf)$ を用いた tf-idf 重み付き線形 SVM クラスファイア。
• 主に単語ユニグラムおよび文字 3- から 5- グラムを特徴量とし、スパarsity を低減するため min_df=2 を設定。
• C、小文字正規化、max_df、use_idf などのハイパーパramータについて包括的なグリッドサーチを実施。
• 性別と言語多様性の予測を共同で行うか別々に処理するかを評価し、共同アプローチを好む。
• POS タグ、地理的エンティティ、Twitter ハンドルなどの追加特徴量をテストしたが、性能を低下させる結果となった。
• 5分割交差検証と PAN 2017 テストセットにおける最終評価を実施し、言語およびタスクごとに結果を集約。

実験結果

リサーチクエスチョン

• RQ1 1つの統合モデルが、マルチリンガルソーシャルメディアテキストにおける性別および言語多様性を効果的に予測できるか。
• RQ2 Twitter ハンドル、POS タグ、地理的エンティティなどのドメイン特化特徴量を組み込むことで、著者プロファイリングの性能が向上するか。
• RQ3 著者プロファイリングタスクにおいて、基本的な n-gram 特徴量が、より複雑な手作業特徴量を上回る程度はどの程度か。
• RQ4 プラットフォーム固有の用語や場所の名前のような特定の特徴量が、このデータセットでは優れた性能を発揮するが、一般化できないのはなぜか。
• RQ5 この設定において、ハイパーパramータチューニングが特徴量エンジニアリングよりも、著者プロファイリングシステムの性能向上に効果的であるか。

主な発見

• 最終的な N-GrAM システムは、すべてのタスクおよび言語で平均正解率 0.86 を達成し、PAN 2017 共同タスクで1位となった。
• 最も優れた性能を発揮したシステムは、単語ユニグラムおよび文字 3- から 5- グラムに tf-idf 重みを適用した線形 SVM を使用しており、追加の特徴量は一切使用しなかった。
• POS タグ、地理的エンティティ、Twitter ハンドルなどの特徴量を追加すると、すべての言語で性能が低下し、正解率が減少した。
• ポルトガル語の言語多様性予測では 0.981 の正解率を達成し、スペイン語では 0.962 であった。これは、高多様性言語タスクにおいて優れた性能を示している。
• 性別予測では、英語で 0.823、アラビア語で 0.801 の正解率を記録し、テストセット全体で 0.8253 の平均正解率を達成した。
• 共同予測の正解率は 0.8361 であり、LDR ベースライン（共同タスクで 0.6738）を著しく上回った。