[論文レビュー] Learning meters of Arabic and English poems with Recurrent Neural Networks: a step forward for language understanding and synthesis

Waleed A. Yousef, Omar M. Ibrahime+2 more|arXiv (Cornell University)|May 7, 2019

Natural Language Processing Techniques被引用数 16

ひとこと要約

本稿では、手作業による特徴工学を用いずに、アラビア語および英語の詩的格律を分類する文字レベルの再帰的ニューラルネットワーク（RNN）手法を提案し、アラビア語で96.38%、英語で82.31%の正確性を達成した。また、計算言語学的詩研究のための、最初の公開可能で大規模かつクリーニング済みの150万件を超える詩的句のデータセットを提供した。

ABSTRACT

Recognizing a piece of writing as a poem or prose is usually easy for the majority of people; however, only specialists can determine which meter a poem belongs to. In this paper, we build Recurrent Neural Network (RNN) models that can classify poems according to their meters from plain text. The input text is encoded at the character level and directly fed to the models without feature handcrafting. This is a step forward for machine understanding and synthesis of languages in general, and Arabic language in particular. Among the 16 poem meters of Arabic and the 4 meters of English the networks were able to correctly classify poem with an overall accuracy of 96.38\\% and 82.31\\% respectively. The poem datasets used to conduct this research were massive, over 1.5 million of verses, and were crawled from different nontechnical sources, almost Arabic and English literature sites, and in different heterogeneous and unstructured formats. These datasets are now made publicly available in clean, structured, and documented format for other future research. To the best of the authors' knowledge, this research is the first to address classifying poem meters in a machine learning approach, in general, and in RNN featureless based approach, in particular. In addition, the dataset is the first publicly available dataset ready for the purpose of future computational research.

研究の動機と目的

• 平文のテキストから直接、言語的特徴のエンジニアリングを伴わずに、詩的格律を分類できる機械学習モデルの開発を目的とする。
• 伝統的に専門知識を要するが、アラビア語および英語の詩における自動格律認識の課題を解決することを目的とする。
• 今後の計算的詩研究のための、大規模でクリーニング済みかつ構造化された詩的句のデータセットを作成・公開することを目的とする。
• 記号の有無やデータエンコーディングが、低リソースおよび高可変性を持つ言語的文脈におけるモデル性能に与える影響を調査することを目的とする。

提案手法

• 入力テキストは文字レベルでエンコードされ、実験条件に応じて記号を保持または削除する。
• 双方向および単方向の長短期記憶（LSTM）およびゲート付き再帰ユニット（GRU）ネットワークが、コアアーキテクチャとして用いられる。
• モデルは、音声的およびリズミカルなパターンをテキストから直接学習できるように、生の文字列シーケンス上でエンドツーエンドに訓練される。
• ネットワークの深さ（3〜8層）、ユニット数（6〜60ユニット）、セルタイプ（LSTM、BiLSTM、GRU、BiGRU）の範囲で包括的なハイパーパramータサーチが実施された。
• モデルの妥当性を確認するため、アラビア語および英語の両データセットで10分割交差検証が実施された。
• データ前処理には、非技術的文学的ソースからのウェブクローリングが含まれ、その後、正規化、クリーニング、および公開リポジトリへの構造的フォーマット変換が行われた。

実験結果

リサーチクエスチョン

• RQ1 生の文字レベル入力で訓練されたRNNは、言語的特徴のエンジニアリングなしに、アラビア語および英語の詩的格律を分類できるか？
• RQ2 記号の有無が、詩的格律分類モデルの正確性にどのように影響するか？
• RQ3 クラスサイズ（データセット内での格律の頻度）とクラスごとの分類正確性の関係は何か？
• RQ4 どのネットワークアーキテクチャおよびハイパーパramータ設定が、異なるテキストエンコーディングにおいて最高のパフォーマンスを発揮するか？
• RQ5 エンコーディング戦略（例：記号の有無、大文字小文字の区別）が、モデルの汎化性能および正確性に与える影響はどの程度か？

主な発見

• RNNベースのモデルは、アラビア語の詩的格律分類において96.38%の全体的な正確性を達成し、ルールベースのシステムを著しく上回った。
• 英語の詩においては、82.31%の全体的な正確性を達成し、格律の数が少なく、言語的ばらつきが大きいにもかかわらず、強力な性能を示した。
• TwoE（二重エンコーディング）戦略は、実験全体を通して最も高い正確性を安定して達成したが、モデルアーキテクチャとの相互作用により、エンコーディングごとに性能にばらつきが生じた。
• 記号が存在する場合、まれな格律がデータセットから除外された場合にのみ、分類正確性が向上した。これは、データスパarsityと音声的表現の間の複雑な相互作用を示している。
• クラスごとの正確性はクラスサイズと強く相関しており、小さなクラスでは正確性が低く、これは珍しい格律同士の類似性や、十分な訓練例の不足によるものと考えられる。
• 本研究では、150万件を超える詩的句を含む、公開可能なクリーニング済みで構造化され、文書化されたデータセットをリリースした。これにより、今後の計算的詩学および言語モデリング分野の研究が可能になった。