[論文レビュー] Learning Multiple Visual Tasks while Discovering their Structure

Carlo Ciliberto, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Apr 13, 2015

Sparse and Compressive Sensing Techniques参考文献 20被引用数 7

ひとこと要約

本論文では、スパースで行列値をとる再生核ヒルバート空間を用いて、複数の視覚的タスクの間の構造的関係を同定することで、複数の視覚的タスクを同時に学習する新しい非パrametricなマルチタスク学習フレームワーク、Sparse Kernel MTLを提案する。凸最適化問題を交互最小化法で定式化することで、最先端の性能を達成するとともに、解釈可能なタスク構造を明らかにし、特にタスクの関連性がスパース的またはグループ特異的である場合に顕著な優位性を示す。

ABSTRACT

Multi-task learning is a natural approach for computer vision applications that require the simultaneous solution of several distinct but related problems, e.g. object detection, classification, tracking of multiple agents, or denoising, to name a few. The key idea is that exploring task relatedness (structure) can lead to improved performances. In this paper, we propose and study a novel sparse, non-parametric approach exploiting the theory of Reproducing Kernel Hilbert Spaces for vector-valued functions. We develop a suitable regularization framework which can be formulated as a convex optimization problem, and is provably solvable using an alternating minimization approach. Empirical tests show that the proposed method compares favorably to state of the art techniques and further allows to recover interpretable structures, a problem of interest in its own right.

研究の動機と目的

• 予測性能の最適化とタスク関係の同定を同時に実現するマルチタスク学習フレームワークの開発。
• ベクトル値カーネル手法を用いて、スパースで正定値の行列としてタスク関連性をモデル化すること。
• 予測子とタスク構造を同時に学習するための収束性が保証された最適化アルゴリズムの提供。
• 共有構造が限定的または階層的である場合でも、解釈可能なタスクグループの同定を可能にすること。
• 実データおよび合成データにおいて、既存のマルチタスク学習手法を精度と構造的解釈可能性の両面で上回ること。

提案手法

• ベクトル値関数に対する再生核ヒルバート空間（RKHS）におけるチホノフ正則化フレームワークを採用する。
• タスク関係のスパarsityを強制するパラメータ化された行列値カーネルを導入し、関連するタスク間接続のみを促進する。
• 予測子とタスク構造行列の両方を最適化する凸最適化問題として学習問題を定式化する。
• 凸最適化理論を用いて、交互最小化アルゴリズムの収束性を証明する。
• 教師あり学習（予測子更新）と教師なし構造学習（行列更新）を交互に繰り返すことで、解釈可能な構造の同定を実現する。
• タスク関係行列にスパarsity誘導ペナルティを適用し、最も関連性の高いタスク間依存関係を同定する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、予測性能の最適化と関連タスクの潜在的構造の同定を同時に実現できるか？
• RQ2 非パrametricなカーネルフレームワーク内において、タスク関連性をスパースで解釈可能な行列としてモデル化できるか？
• RQ3 予測と構造同定を同時に学習するための交互最小化手順は、グローバル解に収束するか？
• RQ4 本手法は、最先端のマルチタスク学習手法を上回りつつ、意味のあるタスクグループを明らかにできるか？
• RQ5 タスク関連性が部分的または非一様な場合、構造同定の影響は性能にどのように及ぶか？

主な発見

• Animals with Attributesデータセットにおいて、クラスあたり100件の訓練サンプルを用いた場合、Sparse Kernel MTLは平均精度63.21％を達成し、MTFL（61.21％）およびOKL（62.07％）を上回った。
• クラスあたり150件の訓練サンプルを用いた場合、SKMTLは64.51％の高い性能を維持し、最良の性能を示した手法とほぼ同等の結果を示した。
• 色と肢の形状という属性検出実験では、SKMTLは独立学習と共同学習の両方において安定した性能を示し、負の転送を回避した。
• MTFL、MTRL、およびOKLは、互いに分離した意味的グループに対して共同学習を実行した場合、性能が低下した。これは、誤った構造的仮定による負の転送を示している。
• 本手法は、意味的グループを分離した場合でも安定した性能を示しており、解釈可能なタスクグループの回復に成功した。
• 実験的結果から、提案手法のアルゴリズムが収束性を保証しており、予測精度と構造的解釈可能性の両方を効果的にバランスしていることが確認された。