[論文レビュー] PatentTransformer-2: Controlling Patent Text Generation by Structural Metadata

Jieh-Sheng Lee, Jieh Hsiang|arXiv (Cornell University)|Jan 11, 2020

Topic Modeling参考文献 10被引用数 4

ひとこと要約

PatentTransformer-2 は、特許の各構成要素（タイトル、要約、独立权利要求、従属权利要求）を横断する双方向フローを用いて、構造的メタデータを駆動要因として特許テキスト生成を制御する構造的でメタデータ駆動のアプローチを導入する。GPT-2ベースのアーキテクチャをエンドツーエンドで訓練することで、一貫性と制御性が向上し、公開された重みとコードにより再現性と拡張可能な発明支援ワークフローへの応用が可能となる。

ABSTRACT

PatentTransformer is our codename for patent text generation based on Transformer-based models. Our goal is "Augmented Inventing." In this second version, we leverage more of the structural metadata in patents. The structural metadata includes patent title, abstract, and dependent claim, in addition to independent claim previously. Metadata controls what kind of patent text for the model to generate. Also, we leverage the relation between metadata to build a text-to-text generation flow, for example, from a few words to a title, the title to an abstract, the abstract to an independent claim, and the independent claim to multiple dependent claims. The text flow can go backward because the relation is trained bidirectionally. We release our GPT-2 models trained from scratch and our code for inference so that readers can verify and generate patent text on their own. As for generation quality, we measure it by both ROUGE and Google Universal Sentence Encoder.

研究の動機と目的

• タイトル、要約、権利要求などの構造的メタデータを制御信号として統合することで、特許テキスト生成の質を向上させること。
• 高レベルのメタデータから詳細な権利要求へと進化するテキスト生成プロセスを、フローに基づく双方向的プロセスとして実現すること。
• 拡張された発明および特許書式作成への応用を想定し、生成品質と制御性を向上させること。
• 再現性と実用的応用を可能とするために、トレーニング済みの GPT-2 モデルと推論コードを公開すること。

提案手法

• モデルは、特許データを微調整したトランスフォーマー基盤アーキテクチャを用い、構造的メタデータをコンテキスト入力として使用する。
• テキストからテキストへの生成フローを確立：タイトル → 要約 → 独立権利要求 → 従属権利要求。双方向学習により逆方向生成も可能となる。
• 構造的メタデータ（タイトル、要約、権利要求）を条件付き信号として、自己回帰的生成プロセスをガイドする。
• 特許文書に対してマスク言語モデルを用いたシーケンス・ツー・シーケンスの目的関数に基づき、モデルをスクラッチから訓練する。
• メタデータトークンを条件として設定することで、特許書式作成の各段階でターゲットテキスト合成を制御可能となる。
• フレームワークは前向きおよび逆向きの両方の生成をサポートし、特許文書の反復的改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 タイトルや要約といった構造的メタデータが、一貫性があり関連性のある特許権利要求の生成を効果的にガイドできるか。
• RQ2 特許構成要素間での双方向学習が、生成品質と制御性をどのように向上させるか。
• RQ3 GPT-2ベースのモデルが、現実世界の特許構造と一貫性を保ったテキストをどの程度正確に生成できるか。
• RQ4 構造的フローに従って、独立権利要求から高品質な従属権利要求を生成できるか。
• RQ5 メタデータの統合が、特許テキスト生成の信頼性と再現性をどの程度向上させるか。

主な発見

• モデルは、メタデータを制御信号として用いることで、従属権利要求を含むすべての構造的構成要素において一貫性のある特許テキストを生成した。
• 双方向学習により、前向きおよび逆向きの両方の生成が可能となり、特許ドラフトの反復的改善が可能となった。
• ROUGE スコアおよび Google Universal Sentence Encoder スコアにより、ベースライン自己回帰的モデルと比較して生成品質が向上していることが確認された。
• 公開された GPT-2 モデルと推論コードにより、研究者および実務家がフレームワークを再現・拡張できるようになった。
• 構造的メタデータの統合により、特許テキスト生成における制御性と一貫性が顕著に向上した。
• モデルは、現実の特許構造および言語的パターンと整合するテキストを強力に生成する能力を示した。