[論文レビュー] Inscriptis -- A Python-based HTML to text conversion library optimized for knowledge extraction from the Web

Albert Weichselbraun|arXiv (Cornell University)|Jul 12, 2021

Topic Modeling参考文献 14被引用数 7

ひとこと要約

Inscriptisは、ウェブコンテンツからの高忠実度の知識抽出を目的としたPythonベースのHTMLからテキストへの変換ライブラリです。HTMLおよびCSS属性を解釈することで、空間的なレイアウトと意味的な構造を保持し、Lynx、HTML2text、BeautifulSoupなどのツールに比べ、ネストされたテーブルなどの複雑なレイアウトをより効果的に処理します。また、後続のNLPタスクに適したカスタマイズ可能なアノテーションをサポートしています。

ABSTRACT

Inscriptis provides a library, command line client and Web service for converting HTML to plain text. Its development has been triggered by the need to obtain accurate text representations for knowledge extraction tasks that preserve the spatial alignment of text without drawing upon heavyweight, browser-based solutions such as Selenium. In contrast to related software packages, Inscriptis (i) provides a layout-aware conversion of HTML that more closely resembles the rendering obtained from standard Web browsers; and (ii) supports annotation rules, i.e., user-provided mappings that allow for annotating the extracted text based on structural and semantic information encoded in HTML tags and attributes. These unique features ensure that downstream knowledge extraction components can operate on accurate text representations, and may even use information on the semantics and structure of the original HTML document.

研究の動機と目的

• 既存のツールでは、知識抽出のためのレイアウト認識型HTMLからテキストへの変換が不足しているという問題に取り組むこと。
• ウェブブラウザでレンダリングされた通りのテキスト要素の空間的整列を保持する正確なテキスト表現を提供すること。
• HTMLおよびCSSからの構造的・意味的メタデータを保持することで、後続のNLPタスクを支援すること。
• 近接性やフォーマットの手がかりを維持することで、エンティティ認識、センチメント分析、キーワード抽出のパフォーマンスを向上させること。
• 研究プロセスや手動アノテーションワークフローに統合可能な拡張可能なアノテーションサポートを提供すること。

提案手法

• display、white-space、margin-top、vertical-alignなどのHTMLおよびCSSプロパティを解釈するレイアウト認識パーサーエンジンを使用すること。
• アラインメント属性（例：align、valign）を解釈するルールベースのシステムを適用し、出力におけるテキスト配置を保持すること。
• ユーザー定義のアノテーションルールを提供し、HTML要素および属性を意味的ラベルにマッピングすること。
• doccano用のJSONL、XML、アノテート済みHTMLを含む、複数のフォーマットで構造化出力を生成すること。
• ネストされたテーブルやネストされたリストなどの複雑なHTML構造を、コンテンツの折りたたみやずれなしに処理すること。
• データパイプラインおよび研究ワークフローへの統合を可能にするコマンドラインインターフェースおよびWebサービスを提供すること。

実験結果

リサーチクエスチョン

• RQ1 知識抽出のためのHTMLからテキストへの変換を、空間的レイアウトと意味的構造を保持する形でどのように改善できるか？
• RQ2 標準的なツールと比較して、レイアウト認識型変換が後続のNLPパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 ユーザー定義のアノテーションルールは、エンティティ認識およびセンチメント分析における抽出テキストの有用性を向上させることができるか？
• RQ4 Inscriptisは、Seleniumのようなブラウザエミュレートツールと比較して、正確性およびパフォーマンスの面でどの程度優れているか？
• RQ5 構造的メタデータ（例：太字、イタリック、見出し）を保持することで、後続のNLPタスクにどのような影響を与えるか？

主な発見

• Inscriptisは、ネストされたテーブルなどの複雑なHTML構造を正しくレンダリングし、Lynxで見られるような配置のずれを回避しています。
• HTML2text、BeautifulSoup、Cheerioなどの人気ライブラリに比べ、空間的テキスト配置と意味的構造の両方を効果的に保持しています。
• テキスト配置に影響を与えるHTMLおよびCSSプロパティの広範なサブセットを解釈することで、レイアウト認識型変換を実現しています。
• アノテーションルールにより、後続のコンponentが元のHTMLからの構造的および意味的手がかりを活用でき、NLPタスクの正確性が向上しています。
• Inscriptisは、MedMon、ReTV、EPOCHを含む複数の国立およびヨーロッパ研究プロジェクトで採用されており、webLyzardをはじめとする商用プラットフォームでも使用されています。
• 2016年以降、PyPIから135,000回以上のダウンロードが記録されており、研究および生産環境における広範な採用と信頼性を示しています。