[論文レビュー] Unsupervised Text Generation from Structured Data.

Martin Schmitt, Sahand Sharifzadeh+2 more|arXiv (Cornell University)|Apr 20, 2019

Multimodal Machine Learning Applications参考文献 33被引用数 6

ひとこと要約

本稿では、構造化データとオープン情報抽出の両方を翻訳問題として扱うことで、教師なしテキスト生成のための共同ニューラルシーケンス・ツー・シーケンスモデルを提案する。Visual Genomeの知識グラフ上で評価された結果、並列学習データを一切使用しないにもかかわらず優れた結果を達成し、このタスクにおける最初の完全な教師なしアプローチを示した。

ABSTRACT

This work presents a joint solution to two challenging tasks: text generation from data and open information extraction. We propose to model both tasks as sequence-to-sequence translation problems and thus construct a joint neural model for both. Our experiments on knowledge graphs from Visual Genome, i.e., structured image analyses, shows promising results compared to strong baselines. Building on recent work on unsupervised machine translation, we report the first results - to the best of our knowledge - on fully unsupervised text generation from structured data.

研究の動機と目的

• ラベル付き並列学習データが存在しない状況下で、構造化データから自然言語の記述を生成する課題に対処すること。
• 構造化データからのテキスト生成とオープン情報抽出を、同一のニューラルフレームワークで統合すること。
• 教師なし機械翻訳技術が、構造化入力からのゼロショットテキスト生成に適応可能かどうかを検討すること。
• 視覚データから得られる実世界の知識グラフを対象に、この共同アプローチの有効性を評価すること。

提案手法

• 構造化データからのテキスト生成とオープン情報抽出の両方を、シーケンス・ツー・シーケンス翻訳タスクとしてモデル化すること。
• 並列文対が存在しない状況でモデルを学習するために、教師なし機械翻訳技術を適応すること。
• 構造化シーケンスとテキストシーケンスの潜在空間を整列させるために、共有エンコーダ・デコーダアーキテクチャに敵対的訓練を適用すること。
• 知識グラフからの単語語彙データを活用し、教師なしで事前学習および微調整を行うこと。
• バックトランスレーションとサイクル整合性を用いて、生成品質と頑健性を向上させること。
• Visual Genomeの構造化画像アノテーション上でエンド・ツー・エンドに学習し、記述的自然言語を生成すること。

実験結果

リサーチクエスチョン

• RQ1 並列の教師信号を一切使用せずに、1つのニューラルモデルが構造化データからのテキスト生成とオープン情報抽出を同時に実行可能か？
• RQ2 構造化入力からの自然言語生成に、教師なし機械翻訳ベースの学習がどの程度有効か？
• RQ3 ラベル付き学習ペアが一切存在しない状況で、知識グラフからテキストへの変換タスクでどの程度の性能が達成可能か？
• RQ4 個別に最適化されたモデルと比較して、共同モデリングが生成品質を向上させるか？

主な発見

• 並列学習データを一切使用しないにもかかわらず、強力なベースラインを上回る優れた性能を示した。
• 本稿では、構造化データからの完全な教師なしテキスト生成に関する既知の最初の結果を報告した。
• 共同モデリングアプローチにより、個別に最適化されたタスク固有のモデルと比較して、一般化性能と生成品質が向上した。
• 教師なし機械翻訳技術の活用により、知識グラフからの効果的なゼロショット生成が可能になった。