[論文レビュー] Efficient Multitask Feature and Relationship Learning

Han Zhao, Otilia Stretcu+2 more|arXiv (Cornell University)|Feb 14, 2017

Video Surveillance and Tracking Methods参考文献 35被引用数 6

ひとこと要約

本稿では、特徴量とタスクの関係性を適切に定義された正定値共分散行列を通じて同時に学習する、FETRと呼ばれる新しいマルチタスク学習フレームワークを提案する。閉形式の座標降下法を用い、行列最適化を最小重み完全マッチング問題に還元することで、計算コストを大幅に削減する。本手法は、線形および非線形タスクの両方において、従来手法と比較して、速度向上と一般化性能の向上を達成する。

ABSTRACT

We consider a multitask learning problem, in which several predictors are learned jointly. Prior research has shown that learning the relations between tasks, and between the input features, together with the predictor, can lead to better generalization and interpretability, which proved to be useful for applications in many domains. In this paper, we consider a formulation of multitask learning that learns the relationships both between tasks and between features, represented through a task covariance and a feature covariance matrix, respectively. First, we demonstrate that existing methods proposed for this problem present an issue that may lead to ill-posed optimization. We then propose an alternative formulation, as well as an efficient algorithm to optimize it. Using ideas from optimization and graph theory, we propose an efficient coordinate-wise minimization algorithm that has a closed form solution for each block subproblem. Our experiments show that the proposed optimization method is orders of magnitude faster than its competitors. We also provide a nonlinear extension that is able to achieve better generalization than existing methods.

研究の動機と目的

• 既存のマルチタスク特徴量および関係性学習フレームワークにおける不適切な最適化問題を解消し、正定値でない共分散行列が生じるのを防ぐこと。
• 特徴量およびタスクの共分散行列の正定値性を保証する、明確に定義された多凸な定式化を構築すること。
• 各部分問題に対して解析的解が得られる、効率的なブロック座標最小化アルゴリズムを設計し、高価な反復的最適化を回避すること。
• ニューラルネットワークを用いて非線形設定に拡張し、線形ベースラインを上回る一般化性能を向上させること。

提案手法

• 特徴量およびタスクの共分散行列の正定値性を強制することで、不適切な最適化を回避する、MTFRLの制約付き変種、FETRを提案する。
• ブロック座標ごとの最小化を用い、各部分問題（重み学習および共分散推定）が閉形式解を持つことを保証する。
• 共分散行列推定問題を、組合せ最適化で解ける完全二部グラフ上の最小重み完全マッチング問題に還元する。
• インスタンスがタスク間で共有される場合には、Sylvester方程式ソルバを用いて重み学習を行い、それ以外の場合は勾配降下法を用いる。
• FETR正則化をマルチタスクニューラルネットワークの最終層に組み込むことで、非線形拡張版FETR-NNを導入する。
• 線形および非線形モデルの両方に対して同じフレームワークを適用し、あらゆる設定で一貫した性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 非正定値共分散推定に起因する既存のMTFRLスタイル手法の不適切な最適化問題を回避できる、適切に定義されたマルチタスク学習定式化を設計できるか？
• RQ2 繰り返し手続きを用いずに、共分散行列推定問題を閉形式で解けるか？ これにより計算効率が向上するか？
• RQ3 提案されたFETRフレームワークは、実世界のデータセットにおいて、既存のマルチタスク学習ベースラインを上回る一般化性能を達成するか？
• RQ4 FETRフレームワークは、ニューラルネットワークのような非線形モデルに対しても効果的に拡張可能か？ これにより性能がさらに向上するか？
• RQ5 推定された特徴量およびタスクの共分散行列は、タスクおよび特徴量間の意味のある関係性を解釈可能に示すか？

主な発見

• FETRは、反復的共分散推定を閉形式の組合せ的解に置き換えることで、従来手法と比較して1000倍以上の高速化を達成する。
• SARCOSおよびSchoolデータセットの両方において、単一タスク学習、MTL、MTFRLを含むすべてのベースラインと比較して、正規化平均二乗誤差（NMSE）が低くなる一貫性を示す。
• SARCOSデータセットでは、FETRが推定した特徴量およびタスクの共分散行列にブロック対角構造が見られ、物理的関節運動と整合する意味のあるタスク相関関係を示している。
• 非線形拡張版FETR-NNは、すべてのタスクにおいてMT-NNおよびMTFRL-NNを上回る性能を示し、深層学習環境でも一般化性能が向上することを実証している。
• 推定されたタスクおよび特徴量の共分散行列は解釈可能であり、FETRがタスクと特徴量の間の意味のある構造的関係を捉えていることが示された。