[論文レビュー] Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction

Zhiyong Yang, Qianqian Xu+2 more|arXiv (Cornell University)|Apr 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 75被引用数 4

ひとこと要約

本稿では、負の転送を軽減するために、タスクと特徴量のグループ化をブロック対角構造正則化子を用いて同時にモデル化する、新しいマルチタスク学習手法であるタスク・フェーチャ・コラボラティブラーニング（TFCL）を提案する。この手法は、グローバル収束を保証し、実世界のデータセットにおけるパーソナライズド属性予測において、特に困難なタスクにおいて、性能ばらつきを低減し一般化性能を向上させることで、最先端の手法を上回る性能を発揮する。

ABSTRACT

As an effective learning paradigm against insufficient training samples, Multi-Task Learning (MTL) encourages knowledge sharing across multiple related tasks so as to improve the overall performance. In MTL, a major challenge springs from the phenomenon that sharing the knowledge with dissimilar and hard tasks, known as negative transfer, often results in a worsened performance. Though a substantial amount of studies have been carried out against the negative transfer, most of the existing methods only model the transfer relationship as task correlations, with the transfer across features and tasks left unconsidered. Different from the existing methods, our goal is to alleviate negative transfer collaboratively across features and tasks. To this end, we propose a novel multi-task learning method called Task-Feature Collaborative Learning (TFCL). Specifically, we first propose a base model with a heterogeneous block-diagonal structure regularizer to leverage the collaborative grouping of features and tasks and suppressing inter-group knowledge sharing. We then propose an optimization method for the model. Extensive theoretical analysis shows that our proposed method has the following benefits: (a) it enjoys the global convergence property and (b) it provides a block-diagonal structure recovery guarantee. As a practical extension, we extend the base model by allowing overlapping features and differentiating the hard tasks. We further apply it to the personalized attribute prediction problem with fine-grained modeling of user behaviors. Finally, experimental results on both simulated dataset and real-world datasets demonstrate the effectiveness of our proposed method

研究の動機と目的

• マルチタスク学習における負の転送を軽減するため、タスクと特徴量の関係を同時にモデル化すること。
• 関連のないグループ間での知識共有を抑制するため、タスクと特徴量の両方における共同グループ化を促進する正則化フレームワークの構築。
• 最適化プロセスにおけるグローバル収束と構造的回復の保証。
• 微細なユーザ行動モデリングを用いたパーソナライズド属性予測への手法の拡張。
• シミュレート済みおよび実世界のデータセットを用いた実験的検証により、困難なタスクにおいても頑健な性能を示すこと。

提案手法

• タスクと特徴量の共同グループ化を強制する非均質なブロック対角構造正則化子を備えたベースモデルを提案。
• 凸部分問題を解く反復的最適化手法を導入し、そのうちの1つの部分問題に対して、独自の閉形式解を提案。
• 理論的分析を通じて、グローバル収束とブロック対角構造の回復保証を確立。
• 重複する特徴量を許容するモデルへの拡張と、階層的モデル分解を用いたハードタスクの区別。
• 従来の共通グループ化項（例：CoCMTLにおけるもの）を上回る性能を示す共グループ化正則化子を導入。
• ユーザ固有の行動パターンをモデリングすることで、一般化性能を向上させたパーソナライズド属性予測への応用。

実験結果

リサーチクエスチョン

• RQ1 タスクと特徴量のグループ化を共同でモデリングすることで、マルチタスク学習における負の転送を効果的に低減できるか？
• RQ2 提案されたブロック対角正則化子が最適化における構造的回復とグローバル収束を保証するか？
• RQ3 パーソナライズド属性予測タスクにおいて、TFCLは最先端のMTL手法と比較してどのように性能を発揮するか？
• RQ4 データ不足の状況下でも、TFCLはハードタスクや外れ値タスクにおいて、どの程度性能を向上させるか？
• RQ5 複雑なユーザ行動パターンを有する実世界のデータセットに適用した場合、TFCLは頑健性と一般化性能を維持できるか？

主な発見

• TFCLは、ShoesおよびSunの両データセットで、すべての競合手法を顕著に上回り、属性CL, MO, OA, RU, SOについて、平均AUC向上率がそれぞれ1.95, 2.95, 0.44, 2.37, 1.29に達する。
• ユーザ固有のAUCスコアの分布がよりコンパクトであることが示され、性能ばらつきが低減され、ハードタスクへの対処能力が向上していることが裏付けられる。
• アブレーションスタディの結果、グループ化要因を除去すると、損失関数を置き換えるよりも顕著な性能低下が生じるため、構造的グループ化の重要性が確認された。
• シミュレート済みデータセットにおいて、TFCLは正しく共グループ構造を回復しており、構造的学習能力の有効性が検証された。
• 最適化手法はグローバル収束を示し、解は最適輸送に類似した性質を示しており、負の転送低減に関する新たな理論的洞察を提供している。