[論文レビュー] Combating the Filter Bubble: Designing for Serendipity in a University Course Recommendation System

Zachary A. Pardos, Weijie Jiang|arXiv (Cornell University)|Jul 2, 2019

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、大学の授業推薦における偶然的で有益な発見（serendipitous recommendation）を向上させるために、コース、学科、教員要因を統合的にモデル化する修正スリップグラムモデル「multifactor2vec」を提案する。履修履歴の時系列データとコース説明文を統合的に活用することで、RNNベースの推薦手法に比べて新規性と偶然性に優れつつも、高い関連性を維持する。70名の学部生を対象としたユーザースタディにより、有効性が裏付けられた。

ABSTRACT

Collaborative filtering based algorithms, including Recurrent Neural Networks (RNN), tend towards predicting a perpetuation of past observed behavior. In a recommendation context, this can lead to an overly narrow set of suggestions lacking in serendipity and inadvertently placing the user in what is known as a "filter bubble." In this paper, we grapple with the issue of the filter bubble in the context of a course recommendation system in production at a public university. Most universities in the United States encourage students to explore developing interests while simultaneously advising them to adhere to course taking norms which progress them towards graduation. These competing objectives, and the stakes involved for students, make this context a particularly meaningful one for investigating real-world recommendation strategies. We introduce a novel modification to the skip-gram model applied to nine years of historic course enrollment sequences to learn course vector representations used to diversify recommendations based on similarity to a student's specified favorite course. This model, which we call multifactor2vec, is intended to improve the semantics of the primary token embedding by also learning embeddings of potentially conflated factors of the token (e.g., instructor). Our offline testing found this model improved accuracy and recall on our course similarity and analogy validation sets over a standard skip-gram. Incorporating course catalog description text resulted in further improvements. We compare the performance of these models to the system's existing RNN-based recommendations with a user study of undergraduates (N = 70) rating six characteristics of their course recommendations. Results of the user study show a dramatic lack of novelty in RNN recommendations and depict the characteristic trade-offs that make serendipity difficult to achieve.

研究の動機と目的

• 協同フィルタリングモデルが過去の行動に基づいて推薦を狭める『フィルターバブル問題』を解消するため。
• 標準的な履修パターンを超えた偶然的で有益な授業推薦を導入することで、新規性と関連性のバランスを取った推薦システムを設計するため。
• コース、学科、教員要因を同時にモデル化することで、コース表現学習を向上させ、学科跨ぎの意味的類似性を捉えるため。
• ユーザースタディと機関データを用いて、現実の大学環境における多様な推薦戦略の有効性を評価するため。
• 既存のRNNベースの推薦を、単なる要件満たしのための標準的ツールとして再定義し、偶然性を重視するモデルを探索的推薦に割り当てるため。

提案手法

• 9年間分の匿名化履き込み履歴データから、コース、学科、教員の共同埋め込みを学習するスリップグラムの変種「multifactor2vec」を提案する。
• 時系列履き込みデータを用いてモデルを学習し、異なる学科に跨るコース間の暗黙的な意味的類似性を捉えるベクトル表現を学習する。
• コースカタログの説明文から得られるテキスト特徴量をコース埋め込みに追加することで、意味的一般化と類似性検出の精度を向上させる。
• 1回の明示的コース選択を入力として推薦を生成することで、視覚分野の少数ショット学習に類似したワンショット一般化を可能にする。
• コース類似性および類似性推論タスクにおけるオフライン検証を用いてモデル性能を比較し、正確性と再現率を測定する。
• 70名（N=70）を対象としたユーザースタディを実施し、6つの推薦特性（新規性、成功度、関連性、一貫性、魅力、有用性）を評価する。

実験結果

リサーチクエスチョン

• RQ1 コース、学科、教員の埋め込みを同時に学習する修正スリップグラムモデルは、RNNベースのシステムに比べて授業推薦の偶然性を向上させることができるか？
• RQ2 コース説明文の埋め込みは、履き込み履歴パターンを超えた意味的一般化をどの程度向上させるか？
• RQ3 学生は、新規性と成功度のトレードオフをどのように認識しているか？
• RQ4 標準的行動（例：要件の満たし）は学生満足度にどのような役割を果たし、探索的推薦とはどのように分離できるか？
• RQ5 『探索』（偶然性重視）と『要件』（標準的）を分離したハイブリッドインターフェースは、ユーザーエクスペリエンスを向上させることができるか？

主な発見

• multifactor2vecモデルは、標準スリップグラムおよびRNNベースラインに比べ、コース類似性および類似性推論タスクの検証セットで正確性と再現率が顕著に向上した。
• bag-of-words（BOW）ベースラインはRNNを上回り、新規性と偶然性に優れていた。これは、RNNによる推薦が予測可能で限定的であったことを示している。
• ユーザースタディの結果、RNNによる推薦は著しく新規性に欠けており、既存システムにフィルターバブルが存在することが確認された。
• BOWモデルは最高の新規性と偶然性評価を得た一方、Equivalency（非多様性）モデルは成功度と関連性で最高得点を記録した。
• 学生はRNNによる推薦を主に専攻要件の満たしに役立つと認識しており、これはRNNが探索的ツールではなく標準的ガイダンスとしての役割を果たしていることを裏付けた。
• フィードバックを受けて、BOWおよびEquivalencyモデルを用いた専用の「探索」タブ、RNNを用いた「要件」タブを備えた再設計されたシステムインターフェースが実装された。