[論文レビュー] Czech Text Document Corpus v 2.0

Pavel Král, Ladislav Lenc|arXiv (Cornell University)|Oct 6, 2017

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、チェコ語ニュース記事11,955件の自由利用可能な形態素注釈付きコーパス「Czech Text Document Corpus v2.0」を紹介する。このコーパスは、チェコ語におけるマルチラベル文書分類のベンチマークに特化しており、標準的な指標を用いた評価が可能で、最大エントロピー、ニューラルネットワーク（MLPおよびCNN）、ハイブリッド特徴量アプローチを含む最新手法の最先端の結果を報告している。特にCNNはマルチラベル分類においてF-measure 84.7%を達成した。

ABSTRACT

This paper introduces "Czech Text Document Corpus v 2.0", a collection of text documents for automatic document classification in Czech language. It is composed of the text documents provided by the Czech News Agency and is freely available for research purposes at http://ctdc.kiv.zcu.cz/. This corpus was created in order to facilitate a straightforward comparison of the document classification approaches on Czech data. It is particularly dedicated to evaluation of multi-label document classification approaches, because one document is usually labelled with more than one label. Besides the information about the document classes, the corpus is also annotated at the morphological layer. This paper further shows the results of selected state-of-the-art methods on this corpus to offer the possibility of an easy comparison with these approaches.

研究の動機と目的

• チェコ語における文書分類手法の評価を標準化し、公開可能なコーパスを提供すること。
• 文書が通常複数のラベルをもつことを見据え、マルチラベル分類アプローチの開発とベンチマークを支援すること。
• 形態素注釈（語彙素の基本形、品詞、構文解析）と事前学習済みベースラインを含めることで、手法間の比較を容易にすること。
• 5分割交差検証プロトコルと開発セットを用いたハイパーパramータチューニングを定義することで、再現可能な評価を可能にすること。
• 将来的にLINDAT/CLARIN言語リソースインfra構造に統合されることを支援すること。

提案手法

• コーパスはチェコ通信社（CTK）が提供した11,955件の本物の新聞記事から構築され、ハイパーパramータチューニング用に追加で2,735件の記事が開発セットとして使用された。
• 各記事に最大8つのラベルが付与されており、合計604のカテゴリをカバーしているが、分類には上位37の頻出カテゴリのみが使用された。
• 形態素注釈はUDPipeツールを用いて自動的に実施され、語彙素の基本形、品詞タグ付け、構文解析が行われ、.conll、.lemma、.pos、.tok形式で保存された。
• マルチラベル分類の評価には正確性（precision）、再現率（recall）、F-measure（Fm）が用いられ、シングルラベル分類では正答率（accuracy）が用いられた。
• 実験では5分割交差検証が実施され、コーパス全体の20%がテスト用に割り当てられ、開発セットがハイパーパramータチューニングに使用された。
• 最新の手法として、最大エントロピー（ME）、語彙特徴と非教師付き特徴量のハイブリッドアプローチ（HAL、COALS）、およびしきい値処理を用いた深層学習モデル（MLPおよびCNN）が評価された。

実験結果

リサーチクエスチョン

• RQ1 大規模で現実世界のチェコ語ニュースコーパスにおいて、マルチラベル分類の標準的手法がどれほど高い性能を示すか？
• RQ2 形態素注釈（語彙素の基本形、品詞、構文解析）は、チェコ語の文書分類モデルの性能にどのように影響を与えるか？
• RQ3 ニューラルネットワークベースのモデル（MLPおよびCNN）は、このコーパスにおいて、従来の機械学習手法（例：ME、SVM）を上回る性能を示せるか？
• RQ4 非教師付き特徴量（例：LDA、HAL、COALS）を語彙レベル特徴量と組み合わせることで、分類精度はどの程度向上するか？
• RQ5 このコーパスにおける単一ラベル分類の最適ベースライン性能は何か？ また、マルチラベル設定と比較するとどうなるか？

主な発見

• CNNベースのモデルがマルチラベル分類タスクで最高のF-measure 84.7%を達成し、他の手法を上回った。
• 非教師付き特徴量（HAL、COALS）と語彙特徴量をハイブリッドで組み合わせたアプローチはF-measure 81.7%を達成し、意味的・分布的特徴量の価値を示した。
• 語彙特徴量を用いた最大エントロピー分類器はF-measure 76.8%を達成し、従来手法の強力なベースラインとなった。
• MLPモデルはF-measure 83.9%を達成し、フィードフォワードネットワークがチェコ語におけるマルチラベル分類を効果的にモデル化できることを示した。
• シングルラベル分類ではSVM分類器が91.2%の正答率を達成し、主ラベルのみを考慮した場合に優れた性能を示した。
• コーパスは高いラベルスパarsityを示しており、1文書あたり平均2.55ラベル、80%の文書が2つのラベルを有していた。