[論文レビュー] Learning the Compositional Visual Coherence for Complementary Recommendations

Zhi Li, Bo Wu+4 more|arXiv (Cornell University)|Jun 8, 2020

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、補足的アイテム推薦のための構成的視覚的整合性（包括的および意味的焦点的）をモデル化するため、コンテンツ注意型ニューラルネットワーク（CANN）を提案する。マルチヘッドアテンションによる包括的整合性と、色・テクスチャ・ハイブリッド焦点的表現のための階層的アテンションを統合することで、CANNは最先端手法を上回り、FITB_Randomベンチマークで90.7%の正確性と95.1%のMRRを達成した。

ABSTRACT

Complementary recommendations, which aim at providing users product suggestions that are supplementary and compatible with their obtained items, have become a hot topic in both academia and industry in recent years. %However, it is challenging due to its complexity and subjectivity. Existing work mainly focused on modeling the co-purchased relations between two items, but the compositional associations of item collections are largely unexplored. Actually, when a user chooses the complementary items for the purchased products, it is intuitive that she will consider the visual semantic coherence (such as color collocations, texture compatibilities) in addition to global impressions. Towards this end, in this paper, we propose a novel Content Attentive Neural Network (CANN) to model the comprehensive compositional coherence on both global contents and semantic contents. Specifically, we first propose a extit{Global Coherence Learning} (GCL) module based on multi-heads attention to model the global compositional coherence. Then, we generate the semantic-focal representations from different semantic regions and design a extit{Focal Coherence Learning} (FCL) module to learn the focal compositional coherence from different semantic-focal representations. Finally, we optimize the CANN in a novel compositional optimization strategy. Extensive experiments on the large-scale real-world data clearly demonstrate the effectiveness of CANN compared with several state-of-the-art methods.

研究の動機と目的

• 補足的推薦における共起関係を超えた構成的視覚的整合性のモデル化のギャップを埋める。
• アイテムコレクションにおける包括的視覚的整合性と微細な意味的焦点的整合性（例：色・テクスチャ）を捉える。
• ユーザー意思決定のシミュレーションを通じて、新たな構成的最適化戦略を用いて推薦品質を向上させる。
• 視覚的意味を推薦プロセスに統合することで、より正確で視覚的に整合性のある推薦を実現する。

提案手法

• アイテム特徴全体における構成的整合性をモデル化するため、マルチヘッドアテンションを用いた包括的整合性学習（GCL）モジュールを提案する。
• 色焦点的・テクスチャ焦点的・ハイブリッド焦点的特徴という、異なる視覚モalityからの意味的焦点的表現を生成する。
• 意味的焦点的表現からの局所的整合性を学ぶために、階層的アテンションを用いた焦点的整合性学習（FCL）モジュールを設計する。
• ユーザーの視覚的適合性認識に整合する新たな構成的最適化戦略を用いて、CANNモデルを最適化する。
• 正確性とMRRを評価指標として用い、大規模な実世界データセット上でモデルをエンドツーエンドに学習・評価する。
• アテンションスコアの可視化により、モデルがアイテムペア間の視覚的整合性（例：色とパターンの一致）を正しく捉えているかを解釈する。

実験結果

リサーチクエスチョン

• RQ1 補足的推薦において、共購入パターンを超えた視覚的構成的整合性は、どのように効果的にモデル化できるか？
• RQ2 色・テクスチャ・ハイブリッド視覚的意味が、補足的アイテム適合性の予測にどの程度寄与するか？
• RQ3 包括的および焦点的視覚的整合性を統合する統一されたニューラルアーキテクチャは、推薦性能を向上させられるか？
• RQ4 提案されたCANNモデルは、実世界の環境において、最先端手法と比較して視覚的適合性をどの程度正しく捉えられるか？

主な発見

• CANNはすべての意味的焦点的コンponentsを備えた場合、FITB_Randomベンチマークで90.7%の正確性と95.1%のMRRを達成し、すべてのベースラインを上回った。
• ハイブリッド焦点的整合性学習コンponentが最も高い性能を示し、次いで色焦点的、テクスチャ焦点的となった。これは、色が視覚的適合性において主導的役割を果たしていることを示している。
• 完全な意味的焦点的モデリングを備えたCANNは、単一モダリティモデルと比べて顕著に優れており、特にFITB_Categoryセットではその複雑な構成的関係の捉え具合が顕著に優れている。
• アテンションスコアの可視化により、CANNが高整合性ペア（例：黒のTシャツと濃いブルーのショートパンツ、レオパード柄のシューズとブレスレット）を正しく特定していることが確認され、解釈可能性が裏付けられた。
• GCLモジュールは包括的構成的整合性を効果的に学習しており、FCLモジュールは局所的意味的一致を強化しており、性能向上に相乗的に寄与した。
• 提案された構成的最適化戦略により、ユーザーの認識に適合したモデルの整合性が向上し、両方のテストセットで正確性とMRRが上昇したことが実証された。