[論文レビュー] An End-to-End Solution for Named Entity Recognition in eCommerce Search

Xiang Cheng, Mitchell Bowden+4 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 20被引用数 5

ひとこと要約

本稿では、高品質なゴールデンデータ、合成エンティティデータ、大規模でノイズの多い実世界クエリの3つの異なるデータタイプを共同で学習することで、eコマース検索における名前付きエンティティ認識（NER）のモデル性能を向上させるエンドツーエンドで反復的なトレーニングフレームワーク、TripleLearnを提示する。このアプローチにより、テストデータにおけるF1スコアが69.5から93.3に向上し、homedepot.comにおけるオンラインA/Bテストでもユーザー参加度と収益が向上した。これは、産業応用への強力な適応可能性と、類似したデータ課題を有する他のNLPタスクへの一般化可能性を示している。

ABSTRACT

Named entity recognition (NER) is a critical step in modern search query understanding. In the domain of eCommerce, identifying the key entities, such as brand and product type, can help a search engine retrieve relevant products and therefore offer an engaging shopping experience. Recent research shows promising results on shared benchmark NER tasks using deep learning methods, but there are still unique challenges in the industry regarding domain knowledge, training data, and model production. This paper demonstrates an end-to-end solution to address these challenges. The core of our solution is a novel model training framework "TripleLearn" which iteratively learns from three separate training datasets, instead of one training set as is traditionally done. Using this approach, the best model lifts the F1 score from 69.5 to 93.3 on the holdout test data. In our offline experiments, TripleLearn improved the model performance compared to traditional training approaches which use a single set of training data. Moreover, in the online A/B test, we see significant improvements in user engagement and revenue conversion. The model has been live on homedepot.com for more than 9 months, boosting search conversions and revenue. Beyond our application, this TripleLearn framework, as well as the end-to-end process, is model-independent and problem-independent, so it can be generalized to more industrial applications, especially to the eCommerce industry which has similar data foundations and problems.

研究の動機と目的

• 学術的なNER研究とeコマース検索における産業的導入の間のギャップを埋めるため、高品質なトレーニングデータが不足しており、作成に費用がかかる現状に対処すること。
• 高品質なアノテーション、包括的な合成エンティティカバレッジ、実世界のノイズの多いクエリという、特徴が異なる複数のデータソースを活用することで、eコマースにおけるNERパフォーマンスを向上させること。
• 製品カタログの変化に伴い段階的に更新可能な、スケーラブルで保守性が高く、生産環境で利用可能なNERパイプラインを構築すること。
• 従来の単一データセットのファインチューニングを超えて、モデルの一般化性能と実世界でのパフォーマンスを向上させる反復的・マルチソーストレーニングの有効性を示すこと。
• 同様のデータ制約を有する他の産業的NLP課題、例えばエンティティ認識、機械翻訳、知識グラフの拡張などに、TripleLearnフレームワークを一般化すること。

提案手法

• TripleLearnは、3つの異なるデータセットを交互にトレーニングする反復的トレーニングループを用いる：ゴールデンデータ（手動アノテーション、高品質）、合成データ（包括的でエンティティカバレッジに特化）、ノイズデータ（大規模で実世界の検索クエリ）。
• 各イテレーションで、3つのデータセットの組み合わせを用いてモデルを再トレーニングし、性能の監視と過学習の防止のため、ゴールデンデータを検証に使用する。
• 合成データは、製品カタログとエンティティ辞書を用いてプログラム的に生成され、希少または未確認のブランドと製品タイプの組み合わせでさえカバーする。
• ノイズデータは、実際の検索ログから抽出され、ユーザークエリに一般的に見られる自然言語のバリエーション、スペルミス、曖昧な表現を捉えている。
• フレームワークはモデルに依存せず、CRF、BiLSTM、またはトランスフォーマー基盤のアーキテクチャを含む任意の教師あり系列ラベル付けモデルに適用可能である。
• トレーニングパイプラインは段階的アップデートをサポートしており、新製品追加時には合成データのみを再トレーニングすればよく、効率的なモデルメンテナンスが可能である。

実験結果

リサーチクエスチョン

• RQ1 反復的・マルチソーストレーニングフレームワークは、従来の単一データセットファインチューニングを上回るeコマース検索におけるNERパフォーマンスを向上させることができるか？
• RQ2 高品質なアノテーション、包括的な合成データ、実世界のノイズの多いクエリを組み合わせることで、モデルの一般化性能とF1スコアにどのような影響を与えるか？
• RQ3 進化する製品カタログを伴う生産環境において、このようなフレームワークは実際のメンテナンスと段階的アップデートが可能か？
• RQ4 TripleLearnアプローチは、オンラインA/Bテストにおいて、実世界のユーザー参加度と収益に測定可能な改善をもたらすか？
• RQ5 TripleLearnフレームワークは、産業界において同様のデータ課題を有する他のNLPタスクにどの程度一般化可能か？

主な発見

• TripleLearnフレームワークにより、ホールドアウトテストセットにおけるF1スコアが69.5から93.3に向上し、従来の単一データセットトレーニングを大きく上回る顕著な改善が得られた。
• homedepot.comにおけるオンラインA/Bテストでは、TripleLearnで駆動されるモデルがユーザー参加度と収益コンversionsの測定可能な増加をもたらし、実世界のビジネスインパクトを示した。
• モデルは9か月以上にわたり本番環境で稼働しており、高トラフィックで実世界のeコマース環境においても安定したパフォーマンスとスケーラビリティを示している。
• フレームワークにより、モデルメンテナンスが効率的であることが実証された：新製品追加時には合成データのみを再トレーニングすればよく、運用負荷が低減された。
• このアプローチはNERを越えて良好に一般化可能であり、機械翻訳、知識グラフの拡張、同様のデータ制約を有するその他の産業的NLPタスクへの応用が有望である。
• 反復的・マルチサブジェクト戦略は、人間の学習を模倣している—教科書（ゴールデンデータ）、辞書（合成データ）、実世界の入力（ノイズデータ）を用いる—実際の現場でも効果的であることが立証された。