[論文レビュー] From Zero-Shot Learning to Cold-Start Recommendation

Jingjing Li, Mengmeng Jing+4 more|arXiv (Cornell University)|Jun 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 9

ひとこと要約

本稿は、冷凍スタート推薦（CSR）を初めてゼロショット学習（ZSL）問題として定式化し、低ランクエンコーダーと対称的デコーダーを備えた低ランク線形オートエンコーダー（LLAE）を提案する。この手法は、低ランク制約と再構成損失を用いてドメインシフト、スパarsity、計算効率の3つの課題を統合的に解決し、CSRおよびZSLベンチマークの両方で最先端の性能を達成する。

ABSTRACT

Zero-shot learning (ZSL) and cold-start recommendation (CSR) are two challenging problems in computer vision and recommender system, respectively. In general, they are independently investigated in different communities. This paper, however, reveals that ZSL and CSR are two extensions of the same intension. Both of them, for instance, attempt to predict unseen classes and involve two spaces, one for direct feature representation and the other for supplementary description. Yet there is no existing approach which addresses CSR from the ZSL perspective. This work, for the first time, formulates CSR as a ZSL problem, and a tailor-made ZSL method is proposed to handle CSR. Specifically, we propose a Low-rank Linear Auto-Encoder (LLAE), which challenges three cruxes, i.e., domain shift, spurious correlations and computing efficiency, in this paper. LLAE consists of two parts, a low-rank encoder maps user behavior into user attributes and a symmetric decoder reconstructs user behavior from user attributes. Extensive experiments on both ZSL and CSR tasks verify that the proposed method is a win-win formulation, i.e., not only can CSR be handled by ZSL models with a significant performance improvement compared with several conventional state-of-the-art methods, but the consideration of CSR can benefit ZSL as well.

研究の動機と目的

• 冷凍スタート推薦（CSR）問題をゼロショット学習（ZSL）タスクとして再定式化すること。
• コンピュータビジョン分野におけるZSLとレコメンデーションシステム分野におけるCSRの間のギャップを埋めること。
• 3つの核心的課題に取り組むこと：行動空間と属性空間の間のドメインシフト、ユーザ-アイテム相互作用の極端なスパarsity、大規模システムにおける計算効率。
• 共有学習メカニズムを活用することで、ZSLとCSRの両方に利益をもたらす統合モデルを開発すること。
• CSRがZSLフレームワークを用いて効果的に解決可能であることを示し、逆にCSR固有の制約がZSL性能を向上させることを示すこと。

提案手法

• 低ランク線形オートエンコーダー（LLAE）を提案。これは、ユーザ行動をユーザ属性にマッピングし、属性から行動を再構成する線形エンコーダ-デコーダーモデルである。
• エンコーダ行列に低ランク制約を適用し、誤った相関関係をフィルタリングし、主な意味のある接続を明らかにすることで、スパースなユーザ-アイテム相互作用に対処する。
• 対称的デコーダーを適用し、属性から行動を再構成することで、一貫性を保ち、行動空間と属性空間の間のドメインシフトを軽減する。
• 再構成損失（正確な行動回復を保証）と低ランク正則化（一般化性能の向上と過学習の低減）の2つの成分を持つ目的関数を定式化する。
• エンコーダとデコーダ行列の交互更新によりモデルを最適化し、高速な収束性とスケーラビリティを確保する。
• LLAEの線形構造を活用し、計算効率を確保。SSEなどの先行手法と比較して、学習時間が著しく短い。

実験結果

リサーチクエスチョン

• RQ1 冷凍スタート推薦は、ゼロショット学習問題として効果的に定式化可能か？
• RQ2 極端なデータスパarsity下で、低ランク表現はCSRおよびZSLの両性能をどのように向上させるか？
• RQ3 オートエンコーダー構造における再構成制約が、行動空間と属性空間の間のドメインシフトをどの程度軽減するか？
• RQ4 ZSLフレームワークを用いてCSRを解くことで、CSRおよびZSLの両タスクで性能向上が得られるか？
• RQ5 ハイパーパrameter λ（再構成重み）および β（低ランク正則化重み）が、異なるデータセット上でモデル性能にどのように影響するか？

主な発見

• LLAEは、CSRおよびZSLの両タスクを対象とした8つのベンチマークデータセットで最先端の性能を達成し、複数のSOTA手法を上回る。
• 低ランク制約は、誤った接続をフィルタリングし、一般化性能を向上させるため、特にスパースな状況下で顕著な性能向上をもたらす。
• 再構成損失は性能に不可欠であり、アブレーションスタディでは、これを除去すると精度が著しく低下することが示された。
• LLAEは高速に収束し、AwAデータセットではSSEと比較して学習時間が約1/1000にまで短縮され、高い計算効率を示した。
• モデルの性能は多様なデータセットに対して安定しており、最適なハイパーパrameter（λおよびβ）はデータセットに応じて変動するが、交差検証により一貫して結果を改善した。
• CSRとZSLを統合的な問題として定式化することで、相互に恩恵をもたらした：CSRはZSLの一般化性能を向上させ、ZSLにインspiredされた制約はCSR性能を向上させた。