[論文レビュー] A two-step learning approach for solving full and almost full cold start problems in dyadic prediction

Tapio Pahikkala, Michiel Stock+4 more|arXiv (Cornell University)|May 17, 2014

Tensor decomposition and applications参考文献 15被引用数 4

ひとこと要約

本稿では、トレーニング中に片方または両方のオブジェクトが観測されない二項予測における完全およびほぼ完全なコールドスタート問題に対処するため、新規の二段階学習アプローチを提案する。スペクトルフィルタリングとペairワイズ特徴学習を組み合わせることで、テンソル積カーネル法よりもわずかに優れた予測性能を達成し、閉形式解を用いることで、両方のコールドスタート設定におけるクロスバリデーションおよび実装の効率性が向上する。

ABSTRACT

Dyadic prediction methods operate on pairs of objects (dyads), aiming to infer labels for out-of-sample dyads. We consider the full and almost full cold start problem in dyadic prediction, a setting that occurs when both objects in an out-of-sample dyad have not been observed during training, or if one of them has been observed, but very few times. A popular approach for addressing this problem is to train a model that makes predictions based on a pairwise feature representation of the dyads, or, in case of kernel methods, based on a tensor product pairwise kernel. As an alternative to such a kernel approach, we introduce a novel two-step learning algorithm that borrows ideas from the fields of pairwise learning and spectral filtering. We show theoretically that the two-step method is very closely related to the tensor product kernel approach, and experimentally that it yields a slightly better predictive performance. Moreover, unlike existing tensor product kernel methods, the two-step method allows closed-form solutions for training and parameter selection via cross-validation estimates both in the full and almost full cold start settings, making the approach much more efficient and straightforward to implement.

研究の動機と目的

• トレーニング中に両方または片方のオブジェクトが観測されない二項予測における完全およびほぼ完全なコールドスタート問題に対処する。
• トレーニングおよびクロスバリデーションに閉形式解を欠く既存のカーネルベースのアプローチの限界を克服する。
• 訓練データがスパースまたは欠落している場合に、効率的でスケーラブルかつ理論的裏付けのある予測を可能にする手法を開発する。
• 低データ環境下での既存のペアワイズ学習およびカーネル法よりも優れた予測性能を実現する。

提案手法

• 個々のオブジェクト（例：薬剤、標的）の表現をスペクトルフィルタリングで最初に学習し、その後それらを組み合わせて二項予測を生成する二段階学習アルゴリズムを提案する。
• 二項のテンソル積特徴表現を入力として使用し、オブジェクトペア間の相互作用を捉える。
• 両方のモデルトレーニングおよびハイパーパramータ選択のクロスバリデーションにおいて、完全およびほぼ完全なコールドスタート設定の両方で閉形式解が得られるように学習プロセスを定式化する。
• 理論的分析により、二段階法とテンソル積カーネル法との間には強い数学的同等性があることが示され、その設計の妥当性が裏付けられる。
• 薬剤と標的などのオブジェクトタイプごとに個別に正則化を適用することで、低データ環境下での一般化性能が向上する。
• 学習済みの二段階特徴を用いて、カーネルリッジ回帰またはサポートベクターマシンを実装し、効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全およびほぼ完全なコールドスタート二項予測において、二段階学習アプローチは従来のテンソル積カーネル法を上回ることができるか？
• RQ2 提案手法は、コールドスタート設定において、モデルトレーニングおよびクロスバリデーションの両方で閉形式解を提供するか？
• RQ3 低データ環境下での二段階法の性能は、カーネルベースおよびシングルタスク学習と比べてどのように異なるか？
• RQ4 どのようなデータ条件下で関連タスクからの補助情報が、コールドスタート予測において正のトランスファーをもたらすか？

主な発見

• 二段階法は、完全およびほぼ完全なコールドスタート問題において、ペアワイズカーネルリッジ回帰（KRR）よりもわずかに優れた予測性能を達成する。
• 既存のカーネル法とは異なり、二段階アプローチはモデルトレーニングおよびクロスバリデーションの両方で閉形式解を提供するため、計算効率が著しく向上する。
• UniProtおよび20 Newsgroupsデータにおける実験では、二段階法はペアワイズKRRを上回り、標的データが限られた場合にシングルタスク学習と競合する性能を示す。
• 補助タスクからの正のトランスファーは、標的データが不足している場合にのみ観察される。十分な標的データが得られると、補助データはもはや性能向上に寄与しなくなる。
• 本手法は50個のトレーニングタンパク質でさえも有効に機能し、補助データと標的データがバランスしている際に性能がピークに達するが、データ量が非常に多い場合にはシングルタスク学習に下回る。
• 二段階法はバイオインフォマティクス、化学、テキスト類似度など多様な分野で頑健に機能し、広範な適用可能性を示している。