[論文レビュー] Using Program Synthesis for Social Recommendations

Alvin Cheung, Armando Solar-Lezama+1 more|arXiv (Cornell University)|Aug 14, 2012

Machine Learning and Algorithms参考文献 21被引用数 13

ひとこと要約

この論文では、人間が読み取り可能な分解可能な論理プログラムとして学習されるユーザーの好みを考慮した、ハイブリッドな機械学習とプログラム合成アプローチを提案する。サポートベクターマシン（SVM）を用いた初期分類と、解釈可能で実行可能なモデルを生成するプログラム合成を組み合わせることで、訓練時間は桁違いに短縮され、予測精度が向上するとともに、効率的でデバイスレベルのデータ収集が可能になる。

ABSTRACT

This paper presents a new approach to select events of interest to a user in a social media setting where events are generated by the activities of the user's friends through their mobile devices. We argue that given the unique requirements of the social media setting, the problem is best viewed as an inductive learning problem, where the goal is to first generalize from the users' expressed "likes" and "dislikes" of specific events, then to produce a program that can be manipulated by the system and distributed to the collection devices to collect only data of interest. The key contribution of this paper is a new algorithm that combines existing machine learning techniques with new program synthesis technology to learn users' preferences. We show that when compared with the more standard approaches, our new algorithm provides up to order-of-magnitude reductions in model training time, and significantly higher prediction accuracies for our target application. The approach also improves on standard machine learning techniques in that it produces clear programs that can be manipulated to optimize data collection and filtering.

研究の動機と目的

• モバイル環境におけるパーソナライズドソーシャルイベント推薦のための解釈可能で分解可能なモデルを構築する課題に対処すること。
• 共同フィルタリングにおけるブラックボックスモデルの限界を克服し、モデルの透明性とユーザーのフィードバックを可能にすること。
• ユーザーの好みを学習し、関係のないイベントをフィルタリングすることで、モバイルデータ収集におけるエネルギー消費を低減すること。
• ラベル付けに必要なユーザーの作業を最小限に抑えるために、情報量の多いイベントを選択するアクティブラーニングフレームワークを設計すること。
• ユーザーのフィードバックから人間が理解できる実行可能な論理プログラムを生成し、モバイルデバイス上で実行可能にするシステムを開発すること。

提案手法

• サポートベクターマシン（SVM）を用いて、イベント特徴量に対するユーザーの好ましさ／好ましくないを分類することで、訓練データのサイズを削減し、関係のない例をフィルタリングする。
• Sketchを用いたプログラム合成により、SVMが特定した重要な特徴量とラベルから、人間が読み取り可能な分解可能な論理プログラムを生成する。
• 単純な特徴量条件（例：場所 ≠ 2、活動 = 1）の論理的組み合わせを用いて論理述語を構築し、デバイスレベルでのフィルタリングを可能にする。
• 情報量の多いイベントをユーザーのフィードバック用に選択することで、アクティブラーニングを統合し、ラベル付けのオーバーヘッドを最小限に抑える。
• 原子的な条件にモデルを分解し、モバイルデバイス上で直接コンパイル・実行可能にすることで、選択的データ収集を可能にする。
• アンサンブル学習とフィードバックループを用いて、モデルを反復的に改善し、精度を高める一方で解釈可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 プログラム合成を機械学習と効果的に組み合わせることで、ソーシャル推薦システムに解釈可能で分解可能なモデルを生成できるか？
• RQ2 ハイブリッドSVM＋合成アプローチは、標準的な分類手法と比較して、訓練時間と予測精度の点でどのように優れているか？
• RQ3 SVMによる特徴量選択によって、効果的なモデル合成に必要な訓練例の数をどの程度削減できるか？
• RQ4 得られた論理プログラムは、モバイルデバイス上で効率的に実行可能であり、選択的データ収集とエネルギー節約を可能にするか？
• RQ5 現実のソーシャルメディアイベントストリームに見られるノイズ多きく偏った個人化されたデータにおいて、このシステムはどの程度の性能を示すか？

主な発見

• ハイブリッドアプローチにより、標準的な機械学習手法と比較して、モデルの訓練時間が最大1桁短縮された。
• 予測精度はベースライン手法を著しく上回り、特にSVMによる効果的な特徴量選択のおかげで、データが少ない状況でも優れた性能を示した。
• 最良のケースでは、元の訓練データの5％のデータのみで、元の興味関数と完全に一致した。
• 合成されたモデルは人間が読み取りやすく、論理的に分解可能であり、ユーザーが好みを理解・検証・調整できる。
• 実行可能な論理を生成することで、デバイスレベルでの効率的データ収集が可能になり、エネルギー消費が削減された。
• アクティブラーニングをサポートしており、情報量の多いイベントを選択することで、ユーザーのラベル付け作業を最小限に抑えることができた。