[論文レビュー] Understanding Latent Factors Using a GWAP

Johannes Kunkel, Benedikt Loepp+1 more|arXiv (Cornell University)|Aug 29, 2018

Recommender Systems and Techniques参考文献 11被引用数 6

ひとこと要約

本稿では、行列分解に基づくレコメンデーションシステムにおける潜在的要因のための、人間が生成する意味的記述を自動収集するための目的を持つゲーム（GWAP）を提案する。各要因を表す共有映画セットをプレイヤーが記述することで、意味的で多様かつ明確な用語が収集される。これは、高い一致率と要因間の低いコサイン類似度により検証され、モデルの解釈性向上の有効性が示された。

ABSTRACT

Recommender systems relying on latent factor models often appear as black boxes to their users. Semantic descriptions for the factors might help to mitigate this problem. Achieving this automatically is, however, a non-straightforward task due to the models' statistical nature. We present an output-agreement game that represents factors by means of sample items and motivates players to create such descriptions. A user study shows that the collected output actually reflects real-world characteristics of the factors.

研究の動機と目的

• レコメンデーションシステムにおける潜在的要因モデルの不透明性に対処し、抽象的要因の自動的かつ人間主導の解釈を可能にすること。
• プレイヤーがゲームベースのインターフェースを通じて、協働的に意味的で一貫性のある潜在的要因の記述を生成できるかどうかを検討すること。
• 収集された記述が現実世界の意味的差異を反映しており、レコメンデーションの説明に適しているかどうかを評価すること。
• 事前に定義されたラベルや複雑な可視化を用いないGWAPを用いて要因の解釈を獲得する可能性と品質を評価すること。

提案手法

• 3つの代表的な映画を1要因につき提示するウェブベースのGWAPを設計。2名のプレイヤーがランダムにマッチされ、同じ記述語を入力することを目的とする。
• 出力一致メカニズムを採用：プレイヤーの予測が一致した場合にポイントが得られ、映画セットの共有される意味的特徴に合意を促進する。
• 各要因の代表的映画は、人気度、要因との関連性、重複を避けるための特異性を組み合わせた合成スコアに基づいて選定される。
• すべての予測と一致がログ記録され、少なくとも2回の一致（X=2）を達成した用語は分析対象とされる。
• 各要因の用語集合に対してTF-IDFベクトルを計算し、コサイン類似度によって要因間の意味的類似度を測定する。
• 173ゲームのユーザースタディにより、参加意欲、使いやすさ、収集された記述の質を、標準化されたアンケートとインタラクションログを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 行列分解モデルにおける潜在的要因に対して、GWAPが人間が生成する意味的記述を効果的に収集できるか？
• RQ2 収集された記述が、要因間の低い類似度によって示される現実世界の意味的差異を反映しているか？
• RQ3 ゲームプレイは十分に魅力的で使いやすく、継続的なプレイヤー参加と高品質な出力を促進できるか？
• RQ4 収集された用語が、映画のポスターのような表面的な手がかりではなく、要因の実際の意味的特徴をどれほど反映しているか？

主な発見

• GWAPは合計5,741件の予測と545件の一致を収集した。要因あたり平均54.5回、ゲームあたり平均3.15回の一致を記録し、プレイヤーの高い参加意欲が示された。
• 要因記述ベクトル間の平均コサイン類似度は極めて低く（M=0.09、SD=0.13）あり、要因の意味的多様性と明確な差異が確認された。
• プレイヤーはIMI尺度で平均4.79（7点満点）の楽しさスコアを示し、SUSの使いやすさスコアは79であった。これは、高い楽しさと使いやすさの認識を示している。
• ゲームは一般的な用語（例：『アクション』『コメディ』）を好む傾向にあったが、より詳細な用語（例：要因2に対して『犬』）も生成しており、より多くのデータがあれば洗練された意味的特徴を捉える可能性がある。
• プレイヤーは映画がなぜグループ化されたかを理解していた（M=2.74）と回答し、提供された情報が十分であった（M=3.06）と感じた。特にポスターが最も情報量が多く（M=4.32）と評価された。
• 本手法は、事前に定義されたタグや複雑な可視化に依存せずに、解釈可能で人間が読みやすい要因記述を生成する可能性を示した。