[論文レビュー] Product Title Generation for Conversational Systems using BERT

Mansi Ranjit Mane, Shashank Kedia+3 more|arXiv (Cornell University)|Jul 23, 2020

Topic Modeling参考文献 20被引用数 6

ひとこと要約

本稿では、音声対応電子商取引システム向けに、短く表示最適化されたWebタイトルから自然な口語的製品タイトルを生成する、BERTベースの抽象的シーケンスツーセクエンスモデルを提案する。限られたラベル付きデータにもかかわらず、自動評価指標（ROUGE）および人的評価の両面で、ベースラインのseq2seqおよびPtr-Netモデルを上回り、よりなめらかで、繰り返しが少なく、事実に整合したタイトルを生成するとともに、ブランド名や数量情報の正確な保持を実現した。

ABSTRACT

Through recent advancements in speech technology and introduction of smart devices, such as Amazon Alexa and Google Home, increasing number of users are interacting with applications through voice. E-commerce companies typically display short product titles on their webpages, either human-curated or algorithmically generated, when brevity is required, but these titles are dissimilar from natural spoken language. For example, "Lucky Charms Gluten Free Break-fast Cereal, 20.5 oz a box Lucky Charms Gluten Free" is acceptable to display on a webpage, but "a 20.5 ounce box of lucky charms gluten free cereal" is easier to comprehend over a conversational system. As compared to display devices, where images and detailed product information can be presented to users, short titles for products are necessary when interfacing with voice assistants. We propose a sequence-to-sequence approach using BERT to generate short, natural, spoken language titles from input web titles. Our extensive experiments on a real-world industry dataset and human evaluation of model outputs, demonstrate that BERT summarization outperforms comparable baseline models.

研究の動機と目的

• 短く非会話的なWeb製品タイトルを、音声アシスタントに適した文法的に正しい自然な話し言葉のタイトルに変換する課題に対処すること。
• 大規模で動的な電子商取引カタログ全体にわたる、低リソースでスケーラブルな、パーソナライズされた話し言葉の製品タイトルを生成するソリューションを開発すること。
• 特にデータが不足する状況下でも、事前学習言語モデル（例：BERT）が電子商取引分野における抽象的要約にどの程度有効に機能するかを評価すること。
• 会話の流れに自然に溶け込むタイトルを生成することで、音声ベースのショッピング体験を向上させること。

提案手法

• 製品Webタイトルを話し言葉のタイトルに抽象的要約するため、BERTベースのシーケンスツーセクエンスモデルを微調整する。
• 自己回帰的生成を行うデコーダーを用いて、入力タイトルからなめらかで文法的に正しいタイトルを生成する。
• 入力と出力間の意味的・構造的関係を保持するために、アテンション機構と位置エンコーディングを適用する。
• BERTの大量テキストでの事前学習を活用し、特に未知語やレアな製品用語に対しても一般化性能を向上させる。
• 語の繰り返しを低減し、出力長を制御するために、カバレッジ損失とソフトな長さ制約を実装する。
• 限られた人間によるアノテート済み正解ラベルを有する実世界の電子商取引データセット上で学習および評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの抽象的モデルは、短くWeb最適化されたタイトルから自然で話し言葉らしい製品タイトルを効果的に生成できるか？
• RQ2 文語性、事実整合性、繰り返しの観点から、BERTベースの要約は従来のseq2seqおよびPtr-Netモデルと比べてどのように差がつくか？
• RQ3 低リソース環境下でも、BERTは未知語や希少な製品属性に対してどの程度一般化できるか？
• RQ4 生成されたタイトルにおいて、ブランド名、数量、製品タイプといった重要な事実的属性を正確に保持しているか？
• RQ5 人的評価では、BERTで生成されたタイトルはベースラインと比べて、品質および自然さの点でどの程度高い評価を得ているか？

主な発見

• BERTベースのモデルは、すべてのモデルの中で平均して繰り返し語の数が最も少なく（0.17262）、変換モデル（0.18795）と比べて著しく繰り返しを低減した。
• 人的評価において、ROUGEスコアがわずかに高い変換モデルよりも、BERTモデルは全体的な品質で高い評価を得た。
• ROUGE-1、ROUGE-2、ROUGE-Lの指標すべてにおいて、BERTモデルはすべてのベースラインを上回り、優れた要約品質を示した。
• ブランド名（例：'Great Value'、'Lucky Charms'）や正しい測定単位（例：'20.5 ounce box'、'6 count'）といった重要な属性を、ほとんどのケースで正確に保持した。
• 一部のケースでは、正解ラベルに誤りや一貫性のない数量が含まれていたが、BERTモデルはそれを是正し、事実整合性の向上と高い耐性を示した。
• カバレッジ損失を適用したPtr-Netモデルは、標準のPtr-Netと比べて性能が劣り、この文脈ではカバレッジ損失が語の多様性と文語性に悪影響を及ぼした可能性がある。