[論文レビュー] Can Machine Generate Traditional Chinese Poetry? A Feigenbaum Test

Qixin Wang, Tianyi Luo+1 more|arXiv (Cornell University)|Jun 19, 2016

Topic Modeling参考文献 16被引用数 5

ひとこと要約

本稿では、主題のキーワードを符号化し、生成過程でそれらに注目するアテンション機構を用いる、注目型ゲート付き再帰ユニット（GRU）モデルを提案する。このモデルは、高い主題の一貫性と文の流れのなめらかさを達成し、Feigenbaumテストに弱く合格する。人間の専門家が機械生成詩のうち31%を人間が書いたと誤認する結果となり、多くの現代の詩人と同等の優れた性能を示している。

ABSTRACT

Recent progress in neural learning demonstrated that machines can do well in regularized tasks, e.g., the game of Go. However, artistic activities such as poem generation are still widely regarded as human's special capability. In this paper, we demonstrate that a simple neural model can imitate human in some tasks of art generation. We particularly focus on traditional Chinese poetry, and show that machines can do as well as many contemporary poets and weakly pass the Feigenbaum Test, a variant of Turing test in professional domains. Our method is based on an attention-based recurrent neural network, which accepts a set of keywords as the theme and generates poems by looking at each keyword during the generation. A number of techniques are proposed to improve the model, including character vector initialization, attention to input and hybrid-style training. Compared to existing poetry generation methods, our model can generate much more theme-consistent and semantic-rich poems.

研究の動機と目的

• 機械が人間の詩人と同等の質で古典的中国詩を生成できるかどうかを調査すること。
• 神経的詩生成において、主題の一貫性と構造的ルール（調子、リズム、形式）を維持する課題に対処すること。
• 専門的な芸術的文脈における専門家の判断に基づく、分野特化型のチューリングテスト、具体的にはFeigenbaumテストを用いて機械生成詩を評価すること。
• グローバルな主題を保ちつつ、キーワードの条件付けによって創造的変異を可能にする、シンプルだが効果的な神経的アーキテクチャを開発すること。

提案手法

• モデルは、入力キーワードを処理し、文字単位で詩を生成するゲート付き再帰ユニット（GRUs）に基づくエンコーダ・デコーダアーキテクチャを採用する。
• 生成の各ステップで、関連するキーワードに動的に注目するアテンション機構を用いることで、詩全体にわたる主題の一貫性を確保する。
• 意味的表現の質と生成品質の向上を図るため、文字ベクトルを学習済み埋め込みで初期化する。
• 教師あり学習による人間の詩の学習と敵対的学習を組み合わせたハイブリッド型トレーニングにより、文のなめらかさと自然さを向上させる。
• 五字または七字の行数、調子（平/仄）のパターン、韻律のルールを強制することで、古典的中国詩の規則に準拠することを保証する。
• 多様なキーワードセットを用いることで、生成詩の革新性と多様性を促進し、同時に一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークは、専門家の評価において人間が書いた詩と見分けがつかない古典的中国四行詩を生成できるか？
• RQ2 機械生成詩は、古典的中国詩のルールに従った主題の一貫性と構造的適合性をどの程度維持できるか？
• RQ3 ベースラインモデルと比較して、アテンション機構は主題の一貫性と意味的豊かさを顕著に向上させるか？
• RQ4 Feigenbaumテストに弱く合格できるか、すなわち30％以上の専門家が機械生成詩を人間が書いたと誤認するか？
• RQ5 平均点および上位10％のスコアにおいて、機械生成詩は人間の詩人と比べてどの程度の質を示すか？

主な発見

• 専門家が誤認した機械生成詩は31％に上り、Feigenbaumテストに弱く合格したと示され、成功の閾値（30％以上）を満たしている。
• 機械生成詩の61.9％が5段階評価で3点以上（上位3点以上）のスコアを獲得したが、人間詩の75.6％に比べてわずかに平均的に劣っているものの、強力な性能を示している。
• 上位10首のうち、機械生成詩が1位と2位を占め、さらに7位にもランクインしており、多くの人間の作品を上回る詩を生成できることを示している。
• 専門家が人間詩と機械生成詩を区別する際、主に文のなめらかさと芸術的質を基準としており、特に芸術的認識が誤認の鍵要因となっている。
• 定性的および定量的評価により、本モデルは先行手法に比べて主題の一貫性と意味的豊かさで顕著に優れていることが確認された。
• アテンション機構とキーワードの条件付けが主題の一貫性を維持する上で不可欠であり、専門家は、文がなめらかで芸術的に洗練された詩ほど、人間が書いたと誤認されやすいと指摘した。