[論文レビュー] Ask Me What You Need: Product Retrieval using Knowledge from GPT-3

Su Young Kim, Hyeonjin Park+2 more|arXiv (Cornell University)|Jul 6, 2022

Topic Modeling被引用数 10

ひとこと要約

この論文では、キーワードを明示的に必要とせずに、意図中心のクエリ——例：「母の日には何をあげるべきですか？」——に応答するために、p-tuningを用いてGPT-3の内部知識ベースを活用する製品検索システムを提案する。GPT-3に直接製品カテゴリを予測させるプロンプト設計により、特にコールドスタート状況において、最先端の性能を達成し、BERTやBM25と比較して、実世界のデータセットにおけるHR@300で最大15.1%の向上を達成した。

ABSTRACT

As online merchandise become more common, many studies focus on embedding-based methods where queries and products are represented in the semantic space. These methods alleviate the problem of vocab mismatch between the language of queries and products. However, past studies usually dealt with queries that precisely describe the product, and there still exists the need to answer imprecise queries that may require common sense knowledge, i.e., 'what should I get my mom for Mother's Day.' In this paper, we propose a GPT-3 based product retrieval system that leverages the knowledge-base (KB) of GPT-3 for question answering; users do not need to know the specific illustrative keywords for a product when querying. Our method tunes prompt tokens of GPT-3 to prompt knowledge and render answers that are mapped directly to products without further processing. Our method shows consistent performance improvement on two real-world and one public dataset, compared to the baseline methods. We provide an in-depth discussion on leveraging GPT-3 knowledge into a question answering based retrieval system.

研究の動機と目的

• 特定のキーワードを含まない曖昧で意図中心のクエリに対する関連製品の検索課題に対処すること。
• 外部の知識ベースを用いずに、GPT-3の内部知識ベースを暗黙の知識源として製品検索に活用すること。
• トレーニング中に見られなかった製品やクエリの意味的特徴を持つコールドスタートクエリにおける性能向上を図ること。
• p-tuningとファインチューニング、モデルサイズスケーリングの両者が検索タスクに与える影響を評価すること。

提案手法

• 検索モデルはプロンプトテンプレート [PROMPT 1:d] [query] [MASK] を用い、トレーニング可能な連続的プロンプトトークンをp-tuningにより最適化する。
• トークンレベルのログ確率の重み付き和を計算することで、最も可能性の高い製品カテゴリを予測する：$ s_i = Σ_j \alpha_j \mathcal{M}(t_j|\tilde{q}) $。
• トレーニング中はGPT-3の事前学習済みパラメータを保持したまま、プロンプト埋め込みのみを更新する。
• カテゴリスコアに基づき上位K個のカテゴリを選択し、カテゴリから製品へのマッピングテーブルを介して候補製品を特定する。
• 最終的なランク付けには、候補製品をスコア付けおよび再ランク付けする別途のランク付けモデルを用いる。
• GPT-3のファインチューニングを回避し、知識の消失を防ぐために、知識へのアクセスにプロンプトチューニングに依存する。

実験結果

リサーチクエスチョン

• RQ1 外部知識ベースを必要とせず、GPT-3の内部知識を製品検索に効果的に活用できるか？
• RQ2 GPT-3を検索タスクに適応させる際、p-tuningはファインチューニングと比較してどのように優れているか？
• RQ3 GPT-3のモデルサイズを拡大することで、意図中心のクエリに対する検索性能が著しく向上するか？
• RQ4 トレーニング時に見られなかったコールドスタートクエリに一般化できるか？
• RQ5 標準的および分布外の設定において、本手法はBERTやBM25と比較してどのように性能を発揮するか？

主な発見

• 提案手法はGiftデータセットでHR@300が15.14%を達成し、BERTベースの手法と比較して15.0%、次善のベースラインと比較して15.1%の向上を示した。
• 13BのGPT-3モデルは、より小さいモデルと比較して大幅な性能向上を示し、HR@300は1.3Bモデルの0.0628から13Bモデルの0.1514に上昇した。
• p-tuningはゼロショットおよびファインチューニングされたGPT-3を大きく上回り、137Mのp-tunedモデルが1.3Bのファインチューニング済みモデルを上回る性能を示した。
• コールドスタートテストセットでは、HR@300が0.0262を達成し、BERTベース検索（0.0141）と比較して85.8%の向上を示した。
• 本システムは公開QAデータセットに対しても一般化を示し、Google LLCデータセットにおいてBM25およびBERTを上回った。
• アブレーションスタディにより、p-tuningはファインチューニングよりも深刻な知識の消失を回避し、GPT-3の事前学習済み知識をより効果的に保持していることが確認された。