[論文レビュー] Learning Multiple Tasks with Multilinear Relationship Networks

Mingsheng Long, Zhangjie Cao+2 more|arXiv (Cornell University)|Jun 6, 2015

Tensor decomposition and applications被引用数 193

ひとこと要約

本稿では、複数の層にわたるネットワークパラメータにテンソル正規事前分布を用いて、細分化されたタスク関係をモデル化する、深層マルチタスク学習フレームワーク「マルチリンニア・リレーションシップ・ネットワーク（MRN）」を提案する。特徴層におけるネガティブ・トランスファーと分類器層におけるアンダートランスファーを緩和し、転送可能な特徴量とタスク・クラス・特徴量の間のマルチリンニア関係を同時に学習することで、標準的なマルチタスク学習ベンチマークで最先端の性能を達成する。

ABSTRACT

Deep networks trained on large-scale data can learn transferable features to promote learning multiple tasks. Since deep features eventually transition from general to specific along deep networks, a fundamental problem of multi-task learning is how to exploit the task relatedness underlying parameter tensors and improve feature transferability in the multiple task-specific layers. This paper presents Multilinear Relationship Networks (MRN) that discover the task relationships based on novel tensor normal priors over parameter tensors of multiple task-specific layers in deep convolutional networks. By jointly learning transferable features and multilinear relationships of tasks and features, MRN is able to alleviate the dilemma of negative-transfer in the feature layers and under-transfer in the classifier layer. Experiments show that MRN yields state-of-the-art results on three multi-task learning datasets.

研究の動機と目的

• 深層特徴層におけるネガティブ・トランスファーと分類器層におけるアンダートランスファーの課題に対処すること。
• 深層畳み込みニューラルネットワークにおけるタスク・クラス・特徴量の間の細分化された関係をモデル化することで、特徴の転送可能性を向上させること。
• ネットワークパラメータに新しいテンソル正規事前分布を導入し、転送可能な特徴量とマルチリンニアなタスク関係を同時に学習すること。
• タスク関係を無視するか、浅い表現に依存する既存手法の限界を克服すること。

提案手法

• 深層ネットワークの複数のタスク固有層のパラメータテンソルに、ベイジアン事前分布としてテンソル正規分布を導入する。
• 高次元のパラメータテンソルにおける共分散構造を通じて、タスク・クラス・特徴量の間のマルチリンニア関係をモデル化する。
• 深層特徴量とマルチリンニアなタスク関係を同時に最適化する効果的な学習アルゴリズムを開発する。
• 共有特徴層とタスク固有の分類器層にフレームワークを適用し、適応的な知識転送を可能にする。
• Hinton図とt-SNE可視化を用いて、学習されたタスク関係と特徴埋め込みを分析する。
• 下層の関係とマルチリンニアな特徴・クラス・タスク相互作用の寄与を評価するため、変種（MRN 8, MRN t）を評価する。

実験結果

リサーチクエスチョン

• RQ1 タスク・クラス・特徴量の間のマルチリンニア関係をモデル化することで、深層マルチタスク学習における知識転送が向上するか？
• RQ2 ネットワークパラメータにテンソル正規事前分布を組み込むことで、特徴の転送可能性とタスク間の一般化性能にどのような影響を与えるか？
• RQ3 特徴量とタスク関係を同時に学習することで、特徴層におけるネガティブ・トランスファーと分類器層におけるアンダートランスファーの両方を緩和できるか？
• RQ4 提案されたマルチリンニア関係は、単純なタスク共分散や共有特徴部分空間モデルと比較して、タスクの内在的類似性をどのようによりよく捉えられるか？

主な発見

• MRNは、3つの標準的なマルチタスク学習データセットで最先端の性能を達成し、浅いおよび深いマルチタスク学習ベースラインを上回る。
• fc7層でのタスク関係モデリングを省いた変種MRN 8は、完全なMRNに比べて性能が劣っており、タスク固有の下層での関係モデリングの重要性を確認する。
• マルチリンニアな特徴・クラス・タスク関係を欠如させた変種MRN tは、完全なMRNより性能が悪いことから、共同共分散構造を捉えることで転送性が向上することが示される。
• Hinton図の可視化では、MRNがより一貫性があり正のタスク相関（例：A, W, Dは正の相関）を学習しているのに対し、MTRLでは類似しないタスク（例：DとC）間に負の相関が見られる。
• t-SNE可視化では、MRNの特徴量が優れたクラス間分離性とクラス内凝集性を示し、タスク間でより良い整合性を持つことから、強力な転送性が裏付けられる。
• 実験により、MRNが細分化されたマルチリンニア関係をモデル化することで、特徴層におけるネガティブ・トランスファーと分類器層におけるアンダートランスファーを効果的に低減できることを確認した。