[論文レビュー] The Klarna Product Page Dataset: Web Element Nomination with Graph Neural Networks and Large Language Models

Alexandra Hotti, Riccardo Sven Risuleo+3 more|arXiv (Cornell University)|Nov 3, 2021

Web Data Mining and Analysis被引用数 4

ひとこと要約

本稿では、8か国にまたがる8,175のウェブサイトから収集された51,701件の実際のeコマース商品ページを含む大規模かつ多言語対応のデータセット、Klarna Product Page Datasetを紹介する。各ページには5つの主要な要素が手動でラベル付けされている。本稿では、初期の要素ノーテーションに単純なGCNを用い、予測を精緻化するためにゼロショットの大規模言語モデル（LLM）を組み合わせたハイブリッド手法を提案。微調整を一切行わずに16.8パーセンテージポイントの精度向上を達成した。また、複雑な現実世界のウェブページにおいて性能をさらに向上させるために、新たなトレーニング手順も導入した。

ABSTRACT

Description The Klarna Product Page Dataset is a dataset of publicly available pages corresponding to products sold online on various e-commerce websites. The dataset contains offline snapshots of 51,701 product pages collected from 8,175 distinct merchants across 8 different markets (US, GB, SE, NL, FI, NO, DE, AT) between 2018 and 2019. On each page, analysts labelled 5 elements of interest: the price of the product, its image, its name and the add-to-cart and go-to-cart buttons (if found). These labels are present in the HTML code as an attribute called klarna-ai-label taking one of the values: Price, Name, Main picture, Add to cart and Cart. The snapshots are available in 3 formats: as MHTML files (~24GB), as WebTraversalLibrary (WTL) snapshots (~7.4GB), and as screeshots (~8.9GB). The MHTML format is less lossy, a browser can render these pages though any Javascript on the page is lost. The WTL snapshots are produced by loading the MHTML pages into a chromium-based browser. To keep the WTL dataset compact, the screenshots of the rendered MTHML are provided separately; here we provide the HTML of the rendered DOM tree and additional page and element metadata with rendering information (bounding boxes of elements, font sizes etc.). The folder structure of the screenshot dataset is identical to the one the WTL dataset and can be used to complete the WTL snapshots with image information. For convenience, the datasets are provided with a train/test split in which no merchants in the test set are present in the training set. Corresponding Publication For more information about the contents of the datasets (statistics etc.) please refer to the following TMLR paper. GitHub Repository The code needed to re-run the experiments in the publication accompanying the dataset can be accessed here. Citing If you found this dataset useful in your research, please cite the paper as follows: @article{hotti2024the, title={The Klarna Product Page Dataset: Web Element Nomination with Graph Neural Networks and Large Language Models}, author={Alexandra Hotti and Riccardo Sven Risuleo and Stefan Magureanu and Aref Moradi and Jens Lagergren}, journal={Transactions on Machine Learning Research}, issn={2835-8856}, year={2024}, url={https://openreview.net/forum?id=zz6FesdDbB}, note={} }

研究の動機と目的

• ウェブ要素ノーテーションのための、大規模かつ現実的で多様性に富んだウェブページデータセットの不足を解消すること。
• 実世界のウェブ要素ノーテーションタスクにおいて、グラフニューラルネットワーク（GNN）をベンチマークすること。
• GNNと大規模言語モデル（LLM）の統合により、ノーテーション精度を向上させることの可能性を探ること。
• 複雑な現実世界のウェブページにおいて、ノーテーション性能を向上させるために、新たなトレーニング手順を開発すること。
• 将来のウェブオートメーションおよびLLMベースのウェブインタラクション分野における研究基盤を提供すること。

提案手法

• Klarna Product Page Datasetは、8か国にまたがる8,175のeコマースウェブサイトから収集された51,701件の実際の商品ページから構成され、各ページに5つの手動ラベル付き要素が付与されている。
• DOMツリー内の局所的近隣情報に基づいて、初期のノーテーションを生成するために単純なGCN-Meanモデルが使用されている。
• GCN予測から得られる高信頼度で関連性の高い要素のサブセットが選別され、最終的なノーテーションのためにゼロショットの大規模言語モデル（LLM）に渡される。
• モデルの信頼性と順位付け品質を向上させるために、トレーニング中にハード例を同定し、トレーニングセットに追加するトレーニングの見直し手順が採用されている。
• ノーテーション目的を直接最適化することで、ノーテーション精度を向上させるために、新しい「チャレンジノーテーショントレーニング手順」が導入された。
• 将来的なコンピュータビジョンベースのウェブ解析を支援するため、レンダリング済みページスクリーンショットを補助データセットとして活用している。

実験結果

リサーチクエスチョン

• RQ1 単純なGCNは、実世界で多様性に富んだウェブページにおいて、より複雑な最先端のノーテーション手法を上回ることができるか？
• RQ2 微調整なしに、ゼロショットの大規模言語モデル（LLM）がGCNによる候補に対してどれほどノーテーション精度を向上させることができるか？
• RQ3 ハード例の補強のタイミングと頻度は、モデルの収束性とノーテーション性能にどの程度影響を与えるか？
• RQ4 ノーテーション目的に最適化されたトレーニング手順（チャレンジノーテーショントレーニング手順）は、標準的なトレーニングに比べて測定可能な改善をもたらすか？
• RQ5 多言語的かつ地理的に多様なデータは、ウェブ要素ノーテーションモデルの汎化性能と耐性にどのような影響を与えるか？

主な発見

• 単純なGCN-Meanモデルが、FreeDOM や DOM-Q-NET といったより複雑な最先端手法を、Klarna Product Page Dataset上で上回った。
• ハイブリッドGCN-LLMアプローチにより、LLMの微調整を一切行わずに16.8パーセンテージポイントのノーテーション精度向上が達成された。
• トレーニング中のハード例補強は、信頼度ギャップの継続的改善を示しており、順位付け品質の向上とノーテーション目的との整合性の向上を示している。
• チャレンジノーテーショントレーニング手順により、ノーテーション精度がさらに向上し、目的特化型のトレーニング戦略の価値が裏付けられた。
• 補強のタイミングは最終的な精度にほとんど影響を及ぼさないため、重要なハード例を早期に特定することで、モデル性能が顕著に向上することが示された。
• データセットの多言語的かつ地理的に多様な性質により、現実世界のレイアウトや言語の違いを考慮した学習が可能となり、モデルの耐性が向上した。