[論文レビュー] How Images Inspire Poems: Generating Classical Chinese Poetry from Images with Memory Networks

Linli Xu, Liang Jiang+3 more|arXiv (Cornell University)|Mar 8, 2018

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本稿では、視覚的特徴と動的に選択された意味的キーワードをトピックメモリネットワークを介して統合することで、画像から古典的中国詩を生成するメモリ拡張ニューラルネットワーク、MIPGを提案する。モデルは、画像と詩の整合性および詩の質において、人間評価および自動評価の両方でベースラインを上回り、最先端の性能を達成した。

ABSTRACT

With the recent advances of neural models and natural language processing, automatic generation of classical Chinese poetry has drawn significant attention due to its artistic and cultural value. Previous works mainly focus on generating poetry given keywords or other text information, while visual inspirations for poetry have been rarely explored. Generating poetry from images is much more challenging than generating poetry from text, since images contain very rich visual information which cannot be described completely using several keywords, and a good poem should convey the image accurately. In this paper, we propose a memory based neural model which exploits images to generate poems. Specifically, an Encoder-Decoder model with a topic memory network is proposed to generate classical Chinese poetry from images. To the best of our knowledge, this is the first work attempting to generate classical Chinese poetry from images with neural networks. A comprehensive experimental investigation with both human evaluation and quantitative analysis demonstrates that the proposed model can generate poems which convey images accurately.

研究の動機と目的

• 視覚入力からの古典的中国詩生成に関する研究の不足に応えること。これは、テキストベースの生成よりも自然で直感的なものである。
• 従来のテキストベースのモデルが抱える課題（トピックのずれや意味的不整合）を、視覚的および意味的トピック情報の統合によって克服すること。
• 古典的中国詩の厳密な音調および韻律ルールを守りながら、1行ずつ順次生成するシーケンス・ツー・シーケンスモデルを開発すること。
• 画像から抽出可能なキーワードの数に制限のないメモリネットワークを用いて、生成過程で動的にトピックを選択可能にする仕組みを実現すること。
• 画像の正確な表現を確保するため、直接的な視覚的特徴と意味的キーワードを融合すること。

提案手法

• 生成過程において、詩の各文字の潜在的トピックをモデル化するため、トピックメモリネットワークを備えたエンコーダ・デコーダフレームワークを提案する。
• CNNベースのエンコーダを用いて抽出した画像特徴を、キーワードでは完全に記述されない視覚的コンテンツを捉えるために使用する。
• 画像から抽出した意味的キーワードを、詩生成の構造的骨格として統合し、メモリネットワークが各生成ステップで関連するキーワードを動的に選択する。
• 各ラインが直前のラインと現在のトピックコンテキストに基づいて生成される、シーケンス・ツー・シーケンス学習のパラダイムを採用する。
• 視覚的特徴とトピックに依存する隠れ状態を組み合わせ、言語的に正確かつ視覚的に整合性のある詩を生成するデコーダをガイドする。
• 二重ブランチ機構を採用：一つは視覚的特徴のエンコーディング、もう一つはトピックメモリの処理であり、両方ともデコーダの隠れ状態に統合される。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークモデルは、単なるキーワードベースの生成をはるかに超えて、与えられた画像の内容を正確に反映する古典的中国詩を生成できるか？
• RQ2 トピックメモリネットワークは、画像からの自己回帰的詩生成過程で、トピックの一貫性を保ち、トピックのずれを効果的に防止できるか？
• RQ3 視覚的特徴と意味的キーワードを併用することで、単独で用いる場合と比較して、画像と詩の整合性がどの程度向上するか？
• RQ4 キーワードベースのベースラインと比較して、提案モデルは詩の質、一貫性、入力画像との整合性において、どの程度優れているか？
• RQ5 キーワード再現率のような自動評価指標は、人間による画像整合性の判断と相関するか？

主な発見

• 人間評価において、MIPGは「整合性」と「一貫性」の両面で、すべてのベースラインを大きく上回り、次に良いベースラインと比較して平均15.2ポイントの改善を示した。
• 自動評価では、MIPGが87.6%のキーワード再現率を達成し、RNNPG-A（62.3%）やPPG-R（68.1%）を大きく上回り、画像表現の質の高さが裏付けられた。
• アブレーションスタディの結果、視覚的特徴または意味的キーワードのいずれかを削除すると性能が著しく低下し、特に「整合性」の面で顕著な劣化が確認された。これにより、両要素が不可欠であることが実証された。
• 人間評価者による確認によると、モデルは古典的中国詩の厳密な音調および韻律ルールに従いながら、視覚的内容を正確に反映する詩を生成している。
• トピックメモリネットワークにより動的なトピック選択が可能となり、トピックのずれが軽減され、キーワード固定型のベースラインと比較して、より長く一貫性のある詩の生成が可能になった。
• 人間評価では、MIPGが生成した詩は、「詩的質」と「画像表現」の両面でベースラインを大きく上回り、82%の詩が入力画像と「非常に整合的」と判断された。