[論文レビュー] Trace Norm Regularised Deep Multi-Task Learning

Yongxin Yang, Timothy M. Hospedales|arXiv (Cornell University)|Jun 13, 2016

Tensor decomposition and applications参考文献 15被引用数 63

ひとこと要約

本稿では、事前に定義されたアーキテクチャ的制約なしに、パラメータ共有を自動で学習するため、テンソルトレースノルム正則化を用いたデータ駆動型ディープマルチタスク学習フレームワークを提案する。タスク間で積み重ねられた層のパラメータにトレースノルム正則化を適用することで、原理的で凸的な方法で共有表現を促進し、Omniglot文字認識において一般化性能が向上し、過学習が軽減される。LAF、Tucker、TTのテンソルノルムバリアントにおいて一貫した性能を示した。

ABSTRACT

We propose a framework for training multiple neural networks simultaneously. The parameters from all models are regularised by the tensor trace norm, so that each neural network is encouraged to reuse others' parameters if possible -- this is the main motivation behind multi-task learning. In contrast to many deep multi-task learning models, we do not predefine a parameter sharing strategy by specifying which layers have tied parameters. Instead, our framework considers sharing for all shareable layers, and the sharing strategy is learned in a data-driven way.

研究の動機と目的

• ディープマルチタスク学習における最適なパラメータ共有アーキテクチャを設計する課題に対処すること。手動での層選択は複雑かつ誤りを起こしやすい。
• 事前に結合層を定義せずに、複数のタスク間で自動的かつデータ駆動的にパラメータ共有パターンを発見すること。
• マルチレイヤーニューラルネットワークのパラメータにおける低ランク構造に対する凸的代理として、テンソルトレースノルム正則化を活用すること。
• 明示的な因子分解に基づく手法に対する柔軟でスケーラブルな代替手段を提供すること。
• LAF、Tucker、TTの異なるテンソルトレースノルム定式化の有効性を、少サンプル学習ベンチマークで実証的に評価すること。

提案手法

• 同じ層の全タスクにおけるパラメータを1つのテンソルに積み重ね、多次元配列（例：T個のタスクを持つ畳み込み層では5×5×3×32×T）を形成する。
• これらの積み重ねられたパラメータテンソルにテンソルトレースノルム正則化を適用し、低ランク構造を促進することで、タスク間でのパラメータ共有を推進する。
• 3つのテンソルトレースノルムのバリエーションを提案：最終軸フラットテイング（LAF）、Tuckerベース、テンソルトレイン（TT）ベース。それぞれ異なるテンソル展開およびランク近似戦略に対応する。
• 最適化には（部分）勾配降下法を用い、トレースノルムの部分微分は特異値分解（SVD）を用いて計算する：∂||X||_* / ∂X = U V^T ここで X = UΣV^T である。
• フレームワークはTensorFlowで実装され、標準的なバックプロパゲーションを用いてエンドツーエンドで訓練され、共有層パラメータにトレースノルム正則化が追加される。
• 正則化強度はハイパーパrameter γ で制御され、全層および全バリエーションで一様に 0.01 に設定される。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたアーキテクチャ的制約なしに、テンソルトレースノルム正則化がディープニューラルネットワークの層間で効果的なパラメータ共有パターンを自動で学習できるか？
• RQ2 LAF、Tucker、TTの異なるテンソルノルム定式化は、ディープマルチタスク学習における一般化性能および学習ダイナミクスにおいてどのように比較されるか？
• RQ3 トレースノルム正則化は、単一タスク学習（STL）と比較して、少サンプルマルチタスク学習の場面で過学習を軽減するか？
• RQ4 ボトムレイヤーはトップレイヤーよりもどれほど多くのパラメータ共有を示すか？これは過去のアーキテクチャ的直感と一致するか？
• RQ5 テンソルノルムバリエーション（LAF 対 Tucker 対 TT）の選択は性能に敏感か？それとも、すべてのバリエーションが同等の改善をもたらすか？

主な発見

• Omniglotデータセットにおいて、単一タスク学習（STL）と比較して、本手法は著しく過学習を軽減した。テスト損失が低く、テスト精度が向上した。
• LAF、Tucker、TTの3つのバリエーションすべてが、STLより優れた一般化性能を達成した。一部の実験ではテスト精度が最大で約10%向上した。
• パラメータ共有の強度は最初の畳み込み層で最も高く、最終層に向かって減少した。これは、初期特徴がより再利用可能であるという直感的な設計原理を確認した。
• 訓練損失は初期段階でSTLよりも高かったが、正則化項（ノルム）は時間経過とともに減少した。これは、モデルが効果的にパラメータを共有するように学習したことを示している。
• テンソルノルムバリエーション（LAF、Tucker、TT）の選択は性能にほとんど影響せず、最適化中にすべてのバリエーションで損失とノルム項が一貫して減少した。
• 本手法は頑健で柔軟性に富んでおり、あるノルムバリエーションを最適化すると、他のバリエーションのノルムも同時に減少した。これは、補完的な学習ダイナミクスがあることを示唆している。