[論文レビュー] Deep Poetry: A Chinese Classical Poetry Generation System

Liu Y, Dayiheng Liu+1 more|arXiv (Cornell University)|Nov 19, 2019

Multimodal Machine Learning Applications参考文献 5被引用数 6

ひとこと要約

Deep Poetry は、テキスト、画像、または芸術的コンセプトといったマルチモーダル入力を受けるニューラルネットワークベースの中国古典詩生成システムであり、詩作成におけるユーザーの協働を可能にする。自己注意ネットワーク、ルールベースのスクリーニングを施したビームサーチ、WeChat アプレットへのデプロイを活用し、五言・七言短歌や頭字詩など、さまざまなジャンルの韻律的・構造的に正しい詩を生成する。古典詩へのアクセス性と関与度を著しく向上させる。

ABSTRACT

In this work, we demonstrate a Chinese classical poetry generation system called Deep Poetry. Existing systems for Chinese classical poetry generation are mostly template-based and very few of them can accept multi-modal input. Unlike previous systems, Deep Poetry uses neural networks that are trained on over 200 thousand poems and 3 million ancient Chinese prose. Our system can accept plain text, images or artistic conceptions as inputs to generate Chinese classical poetry. More importantly, users are allowed to participate in the process of writing poetry by our system. For the user's convenience, we deploy the system at the WeChat applet platform, users can use the system on the mobile device whenever and wherever possible. The demo video of this paper is available at https://youtu.be/jD1R_u9TA3M.

研究の動機と目的

• 中国古典詩の作成に高いハードルがあるのを是正し、アクセスしやすく、インタラクティブな生成システムを提供すること。
• テンプレートベースのシステムがもたらす単調で硬直的な出力と、ユーザー入力の柔軟性の欠如という制限を克服すること。
• テキスト、画像、芸術的コンセプトといったマルチモーダル入力を可能にし、より創造的で文脈に即した詩の生成を実現すること。
• ユーザーが部分的な行を入力し、AIがそれを補完する形で協働的詩作を可能にすること。
• WeChat アプレットプラットフォームを活用したモバイルファーストでゲーム要素を含んだインターフェースにより、一般大衆の古典中国詩への関与を高めること。

提案手法

• Clarifai の画像認識APIを用いて、画像から少なくとも2つの視覚的テーマを抽出する。
• 詩的フレーズ分類体系「ShiXueHanYing」を用いて、認識されたテーマを関連する詩的表現に拡張する。
• 自己注意ニューラルネットワークを用い、入力からの埋め込み表現に基づいて単語単位で詩を生成する。
• 五字・七字短歌や、各行の最初の文字を固定する頭字詩など、複数のジャンルをサポートする。
• ビームサーチ（ビームサイズ = N）を用いて複数の候補詩を生成し、その後、ルールベースのスクリーニング機構を適用して、韻が崩れている、または繰り返しのある出力をフィルタリングする。
• アプリのインストールを必要としないWeChat アプレットとしてデプロイし、モバイルでのアクセス性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのシステムは、テキスト、画像、芸術的コンセプトといった多様な入力から、構造的・リズミカルに正しい中国古典詩を生成できるか？
• RQ2 AI補完による詩作におけるユーザー協働は、詩の整合性を保ちつつ、どの程度効果的に実現できるか？
• RQ3 画像や芸術的コンセプトといったマルチモーダル入力は、テキストのみのモデルと比較して、詩の創造性と関連性をどの程度向上させるか？
• RQ4 ルールベースのスクリーニング機構は、非適合出力（例：破綻した韻、繰り返し）を効果的に排除できるか？
• RQ5 WeChat といった広く使われているモバイルプラットフォームにシステムをデプロイすることで、古典詩へのユーザーのアクセス性と関与度はどの程度向上するか？

主な発見

• 本システムは、ユーザーが定めた初期文字を含む頭字詩を含め、複数のジャンルにおいて韻を踏み、構造的に正しい中国古典詩を効果的に生成した。
• ユーザー協働は効果的に実現された：ユーザーは任意の長さの部分的な行を入力でき、システムは整合的な完成形を候補として生成した。
• スクリーニング機構は非適合出力を効果的にフィルタリングし、韻や繰り返しルールに準拠する詩のみを提示した。
• Clarifai と ShiXueHanYing を通じた画像および芸術的コンセプト入力の統合により、単なるテキスト入力以上の文脈に即した詩の生成が可能になった。
• WeChat アプレットプラットフォームへのデプロイにより、インストール不要で広範なモバイルアクセスが可能となり、ユーザーのアクセス性が著しく向上した。
• 単語パズルゲームの導入により、ユーザーの関与度が向上し、一般大衆が古典詩に興味を示すようになっていた。